Python爬取斗鱼直播静态网页,零基础小白看了都能立马写!

《Python爬取斗鱼直播静态网页,零基础小白看了都能立马写!》 Python爬取斗鱼直播静态网页,零基础小白看了都能立马写!

Python (编程语言) 沿着一条乡村公路路标

第一节我们介绍如何爬取静态网页

静态网页指的是网页的内容不是通过js动态加载出来的

我们可以直接使用一些开发者工具查看

这里我采用谷歌浏览器的开发者工具

本文福利:关注,转发,加小编Python学习群:943752371即可获取PDF文档一套!

《Python爬取斗鱼直播静态网页,零基础小白看了都能立马写!》 Python爬取斗鱼直播静态网页,零基础小白看了都能立马写!

开发环境

操作系统:windows 10

Python版本 :3.6

爬取网页模块:requests

分析网页模块:Beautiful Soup 4

模块安装

pip3 install requestspip3 install beautifulsoup4

网页分析

我们使用炉石传说的页面来开始分析

https://www.douyu.com/directory/game/How

我们可以通过左上角的箭头来定位网页内容对应的源

《Python爬取斗鱼直播静态网页,零基础小白看了都能立马写!》 Python爬取斗鱼直播静态网页,零基础小白看了都能立马写!
《Python爬取斗鱼直播静态网页,零基础小白看了都能立马写!》 Python爬取斗鱼直播静态网页,零基础小白看了都能立马写!
《Python爬取斗鱼直播静态网页,零基础小白看了都能立马写!》 Python爬取斗鱼直播静态网页,零基础小白看了都能立马写!

从上面我们可以看出单个直播的信息都在li标签下面,包括:

  • 封面图片地址
  • 直播介绍
  • 主播名称
  • 观看人数

代码介绍

这里逐行介绍代码

1. import相关的模块

import requestsfrom bs4 import BeautifulSoup

2. 使用request模块打开并获取网页内容

verify=False 在打开https网页时使用

url=’HTTPs://www.douyu.com/directory/game/’+douyugamer = requests.get(url,verify=False)content=r.content

3. 使用bs4格式化获取的网页

这时就可以使用bs4的功能来处理网页了

soup = BeautifulSoup(content,”lxml”)

4. 获取所有li标签

这里获取所有具有data-cid属性的li标签

live_list=soup.find_all(‘li’,attrs = {‘data-cid’ : True})

5.循环获取到li标签,然后提取需要的信息

《Python爬取斗鱼直播静态网页,零基础小白看了都能立马写!》 Python爬取斗鱼直播静态网页,零基础小白看了都能立马写!

我们这里只提取在线人数大于8000的直播间

game_count=all_game.find(‘span’,attrs = {‘class’ : ‘dy-num fr’}).text

代表查找一个span标签,其class属性值为dy-num fr,然后获取它的内容

《Python爬取斗鱼直播静态网页,零基础小白看了都能立马写!》 Python爬取斗鱼直播静态网页,零基础小白看了都能立马写!

game_link=’https://www.douyu.com’+all_game[‘href’]

代表获取a标签中href属性的值

《Python爬取斗鱼直播静态网页,零基础小白看了都能立马写!》 Python爬取斗鱼直播静态网页,零基础小白看了都能立马写!

剩下的同理

6. 最后将获取到的信息放入字典中

《Python爬取斗鱼直播静态网页,零基础小白看了都能立马写!》 Python爬取斗鱼直播静态网页,零基础小白看了都能立马写!

这时我们可以将结果存入数据库中供查看,这里就不多说了

执行结果

《Python爬取斗鱼直播静态网页,零基础小白看了都能立马写!》 Python爬取斗鱼直播静态网页,零基础小白看了都能立马写!

源码位置

https://github.com/bsbforever/spider/blob/master/static_web.py

    原文作者:浪里小白龙q
    原文地址: https://www.jianshu.com/p/a4d57d45ff30
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞