Python读取网页并获取某节点

2019年5月9日 208次阅读 来源: iOneWay

环境：python3.5.1

Beautiful Soup

Beautiful Soup是python的一个库，主要用于从网页抓取数据。Beautiful Soup自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码。你不需要考虑编码方式，除非文档没有指定一个编码方式，这时，Beautiful Soup就不能自动识别编码方式了。然后，你仅仅需要说明一下原始编码方式就可以了。
Beautiful Soup已经成为和xml，html6lib一样出色的python解释器，为用户灵活提供不同的解析策略或强劲的速度。

由于Beautiful Soup不是python内置库，所以需要下载安装

pip install beautifulsoup4

代码使用：

from urllib.request import urlopen
from urllib.error import URLError
from bs4 import BeautifulSoup

def getTitle(url):
    try:
        html = urlopen(url)
    except URLError as e:
        print(e)
        return None
    try:
        bsObj = BeautifulSoup(html, "html.parser")
        title = bsObj.body.h1
    except AttributeError as e:
        return None
    return title

title = getTitle("http://www.xxxxxxx.com")
if title == None:
    print("Title could not be found")
else:
    print(title)

我们经常会将自己写的网络爬虫开启，然后信心满满地去休息，等第二天打开发现，爬虫早已停止运行，我门需要的数据并没有成功获取，因为程序已经中断退出了。在爬虫执行时，某些html可能不存在了，或者发生了变化，html中某个节点不存在了。 对于这些情况，爬虫会发生异常并退出，为了让爬虫继续工作，我们需要捕获异常，如以上代码。

注意，当html中没有某一节点，如<pre>节点，我门使用bsObj.pre来获取该节点时，并不会发生异常，而是返回"None".
 但是当我门要获取<pre>的下一节点<p>时，bsObj.pre.p时会出现异常：AttributeError。
    原文作者：iOneWay
    原文地址: https://www.jianshu.com/p/7b81243384a5
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞