爬虫数据存入数据库

2021年7月15日 106次阅读 来源: 可欣の扣得儿

将爬虫获取的数据存入数据库，需要在pipeline里完成。

一、默认的项目是将pipeline的功能关闭了，这里我们先在settings.py中打开。其中设置里可以增加多个操作，后面的数字代表操作的先后顺序。

ITEM_PIPELINES = {
   'qidian_hot.pipelines.QidianHotPipeline': 300,
}

二、首先打开SQLyog，新建一张表。并在 settings.py 里写入有关数据库的信息：

MYSQL_DB_NAME = "qidian"
MYSQL_HOST = "localhost"
MYSQL_USER = "root"
MYSQL_PASSWPRD = "971021"

三、在 pipelines.py 里写连接数据库的类

首先，导入一个包：

import MySQLdb

连接数据库：

spider.settings.get 后的第一个词是获取 setting 里写入的，如果查不到第一个字符串，就用第二个字符串赋值。

    def open_spider(self,spider):
        db_name = spider.settings.get("MYSQL_DB_NAME","qidian")
        host = spider.settings.get("MYSQL_HOST", "localhost")
        user = spider.settings.get("MYSQL_USER", "root")
        pwd = spider.settings.get("MYSQL_PASSWPRD", "971021")
        self.db_conn = MySQLdb.connect(db = db_name,
                                       host = host,
                                       user = user,
                                       password = pwd,
                                       charset = "utf8")
        self.db_cursor = self.db_conn.cursor() #得到游标

使用SQL语句将数据写入数据库：

    def process_item(self, item, spider):
        values = (item["name"],item["author"],item["type"],item["state"])
        sql = "insert into hot(name,author,type,state) values (%s,%s,%s,%s)"
        self.db_cursor.execute(sql,values)
        return item

收尾工作：

这里的 commit 可以放在前面，也可以在收尾工作里一步提交：

    def close_spider(self,spider):
        self.db_conn.commit()
        self.db_cursor.close()
        self.db_conn.close()

 

    原文作者：可欣の扣得儿
    原文地址: https://blog.csdn.net/aspirinLi/article/details/110563200
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞