Python 爬虫糗事百科插入MySQL数据库

2019年5月19日 211次阅读 来源: 高杆python

参加向右奔跑老师爬虫小分队二期学习已经快一周的时间啦，之前完成的三篇作业一直都是关于Python程序逻辑的训练，虽然之前有过使用BeautifulSoup爬去简单网页数据的尝试，但是对网页结构化数据的抓取还从来没有尝试过，通过这几天参考同学们完成的作业和彭老师推荐的简书文章，今天尝试一次爬虫糗事百科数据（数据包括：作者，性别，年龄，段子内容，好笑数，评论数），并插入MySQL数据库。
代码如下：

import requests
from bs4 import BeautifulSoup
import re
import pymysql
#链接MySQL数据库
connect = pymysql.connect(
    host='localhost', 
    user='root', 
    passwd='root',  
    db='test',  
    port=3306,  
    charset='utf8'
    )
# 获取游标
cursor = connect.cursor()
#请求头
headers = {
  'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
}
def get_data(url):
    #模拟浏览器访问网页
    html = requests.get(url,headers).content
    #lxml解析网页内容返回给soup
    soup = BeautifulSoup(html,'lxml')
    #find_all得到所有包含目标内容的div的集合
    div_list = soup.find_all(name = 'div', class_ = 'article block untagged mb15')
    #for循环分别读取div集合中的目标数据
    for div in div_list:
        #定位获取作者名字数据
        author = div.find('h2').text
        #正则表达式定位获取性别年龄信息数据(匿名用户无信息需特别处理)
        genders = div.find(name = 'div', class_ = re.compile('articleGender .*'))
        if genders == None:
            gender = 'Null'
            age = 'Null'
        else:
            gender = genders.attrs['class'][1][:-4]
            age = genders.text
        #定位获取内容数据
        content = div.find('span').text
        #定位获取好笑数数据
        
        funny_nums = div.find(name = 'span', class_ = 'stats-vote').find('i')
        if funny_nums == None:
            funny_num = 0
        else:
            funny_num = funny_nums.text
        #定位获取评论数数据
        comment_nums = div.find(name = 'span', class_ = 'stats-comments').find('i')
        if comment_nums == None:
            comment_num = 0
        else:
            comment_num = comment_nums.text 
        #选择test数据
        cursor.execute("use test")
        #执行insert插入语句
        cursor.execute("insert into qiushibaike_tbl (author,gender,age,content,funny_num,comment_num) values(%s,%s,%s,%s,%s,%s)",(author,gender,age,content,funny_num,comment_num)) 
        #不执行不能插入数据
        connect.commit()
        
if __name__ == '__main__':
    #分别构建1-35页的url
    for i in range(1,36):
        url = 'http://www.qiushibaike.com/text/page/'+str(i)+'/?s=4986178'
        get_data(url)
    #关闭数据库链接，释放资源
    connect.close()
    print('SUCCESS!')

《Python 爬虫糗事百科插入MySQL数据库》 插入数据库

第一次完成网页结构化数据的抓取，几乎每一段程序代码都加了注释说明，成功爬到糗事百科35页699条数据，并存入本地搭建的MySQL数据库，存在一个问题向大家请教，糗事百科的匿名用户的年龄和性别不存在，直接判断过滤，但是匿名用户的段子内容数据没有抓到和插入数据库，程序执行过程也没有报任何错误！还请哪位大神看出问题所在后，留言指点！拜谢！拜谢！

上面的问题感谢罗罗攀 和Mr_Cxy的帮忙解答，问题还是对网页结构分析的不够透彻，没有发现匿名用户和非匿名用户的网页结构不同，没法直接用 content = div.find(‘span’).text直接获取数据匿名用户的段子内容数据，需要分开处理，用 content = div.find_all(‘span’)[2].text或者= div.select(‘span’)[2].text获取获取数据匿名用户的数据，下面是修改后的程序代码：

import requests
from bs4 import BeautifulSoup
import re
import pymysql
#链接MySQL数据库
connect = pymysql.connect(
    host='localhost', 
    user='root', 
    passwd='root',  
    db='test',  
    port=3306,  
    charset='utf8'
    )
# 获取游标
cursor = connect.cursor()
#请求头
headers = {
  'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
}
def get_data(url):
    #模拟浏览器访问网页
    html = requests.get(url,headers).content
    #lxml解析网页内容返回给soup
    soup = BeautifulSoup(html,'lxml')
    #find_all得到所有包含目标内容的div的集合
    div_list = soup.find_all(name = 'div', class_ = 'article block untagged mb15')
    #for循环分别读取div集合中的目标数据
    for div in div_list:
        #定位获取作者名字数据
        author = div.find('h2').text
        #正则表达式定位获取性别年龄信息数据(匿名用户无信息需特别处理)
        genders = div.find(name = 'div', class_ = re.compile('articleGender .*'))
        if genders == None:
            gender = 'Null'
            age = 'Null'
            #定位获取匿名用户段子内容数据
            content = div.find_all('span')[2].text
        else:
            gender = genders.attrs['class'][1][:-4]
            age = genders.text
            #定位获取非匿名用户段子内容数据
            content = div.find('span').text
        #定位获取好笑数数据
        funny_nums = div.find(name = 'span', class_ = 'stats-vote').find('i')
        if funny_nums == None:
            funny_num = 0
        else:
            funny_num = funny_nums.text
        #定位获取评论数数据
        comment_nums = div.find(name = 'span', class_ = 'stats-comments').find('i')
        if comment_nums == None:
            comment_num = 0
        else:
            comment_num = comment_nums.text 
        #选择test数据
        cursor.execute("use test")
        #执行insert插入语句
        cursor.execute("insert into qiushibaike_tbl (author,gender,age,content,funny_num,comment_num) values(%s,%s,%s,%s,%s,%s)",(author,gender,age,content,funny_num,comment_num)) 
        #不执行不能插入数据
        connect.commit()
        
if __name__ == '__main__':
    #分别构建1-35也的url
    for i in range(1,36):
        url = 'http://www.qiushibaike.com/text/page/'+str(i)+'/?s=4986178'
        get_data(url)
    #关闭数据库链接，释放资源
    connect.close()
    print('SUCCESS!')
    原文作者：高杆python
    原文地址: https://www.jianshu.com/p/63a20a8e9ce6
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞