2018-03-05爬取的数据写入excel和Postgresql

之前爬取数据的时候,一般喜欢直接写入txt,然后在导入excel清洗,觉得写入excel之类的会比较麻烦。

今天抽时间,熟悉了一下把数据写入excel和Postgresql,发现熟练之后,其实能省不少时间。

1.写入excel

写入excel需要xlwt包。主要的命令是4个:

f=xlwt.Workbook()

sheet1=f.add_sheet(u’sheet1′,cell_overwrite_ok=True)

sheet1.write(行号,列号,content) #行号和列号从0开始

f.save(‘path/name.xls’) #如果没保存,前面的都白瞎了·····

2.写入Postgresql

之前用过MySQL,但是今天在知乎上看到一个Postgresql和MySQL的对比(PostgreSQL 与 MySQL 相比,优势何在?),觉得PG更好,所以就下了这个。

写入PG需要用到psycopg2包。

首先打开数据库,网上有些地方说如果没有数据库,可以新建,但是我这里发现如果db没有的话,就会提示出错

conn = psycopg2.connect(database=”123″, user=”postgres”, password=”123456″, host=”127.0.0.1″, port=”5432″)   #host这个地方默认写”127.0.0.1″就好

生成一个指针:

cur=conn.cursor()

在此数据库下生成一个表:

cur.execute(”’CREATE TABLE Vip_writers1

      (NAME  TEXT  PRIMARY KEY    NOT NULL,

      Link          TEXT    NOT NULL,

      SRC         TEXT    NOT NULL);”’)

    conn.commit() #生成之后一定要commit,否则无效

随后,向表里插入数据即可:

cur.execute(“INSERT INTO Vip_writers1 (NAME,Link,SRC) VALUES (‘%s’,’%s’,’%s’)” %(name,link,src))

conn.commit() #依然不要忘记提交

最后,关闭数据库

conn.close()

《2018-03-05爬取的数据写入excel和Postgresql》

    原文作者:kunkun_1230
    原文地址: https://www.jianshu.com/p/c685f3f13e93
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞