pandas数据保存至Mysql数据库

因为最近又在写爬虫,所以想把爬到的数据(dataframe格式)存在mysql里

终于在今天下午成功了

小试牛刀


《pandas数据保存至Mysql数据库》

注:需要你修改的部分:

(1)db是你本地数据库的名称(你用自己本地的数据库名称)

(2)password是你本地数据库的密码

这里我创建了一个简单的df用于测试:

《pandas数据保存至Mysql数据库》

结果运行成功:

《pandas数据保存至Mysql数据库》

本地数据库自动新建了一个test1表,数据成功写入,(我用的mysql客户端软件是:Navicat)

大显身手

当然,我们平时数据清洗好的df或者爬虫爬到的数据做成df怎么保存到mysql呢?

其实现在看起来就很简单了

当然,在这里,我只教会大家怎么保存df到mysql

如果大家对爬虫和数据分析清洗有兴趣,可以看我以前写的文章

我打开了一个爬虫爬到的房地产数据,如下图:

《pandas数据保存至Mysql数据库》

我们看一下数据的df:

《pandas数据保存至Mysql数据库》

我们现在要将这个df写入mysql,就好比爬到的数据或者清洗完的数据写入mysql:

《pandas数据保存至Mysql数据库》

注:需要你修改的部分:

(1)db是你本地数据库的名称(你用自己本地的数据库名称)

(2)password是你本地数据库的密码

运行结果是,捕获到了异常:

《pandas数据保存至Mysql数据库》

意思大概是:一部分拉丁无法编码,所以我们设置一下编码方式:charset=utf8

《pandas数据保存至Mysql数据库》

注:需要你修改的部分:

(1)db是你本地数据库的名称(你用自己本地的数据库名称)

(2)password是你本地数据库的密码

只修改了这一行代码:


《pandas数据保存至Mysql数据库》

我们打开本地的数据库,右键刷新:

《pandas数据保存至Mysql数据库》

已经可以看到,数据已经写入mysql了

大家想要加其他功能可以参考:

http://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.to_sql.html

《pandas数据保存至Mysql数据库》

    原文作者:我爱学python
    原文地址: https://www.jianshu.com/p/830119519248
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞