前面两篇介绍的是 Beautiful Soup 4 的基本对象类型和文档树的遍历, 本篇介绍 Beautiful Soup 4 的文档搜索
搜索文档树主要使用两个方法 find() 和 find_all()
find_all():
find_all 是用于搜索节点中所有符合过滤条件的节点
那么它支持哪些过滤器呢?
过滤器的类型:
- 字符串
- 正则表达式
- 列表
- True
- 方法
字符串:
查找文档中所有的<b>标签
soup.find_all('b')
正则表达式:
找出所有以b开头的标签
import re
for tag in soup.find_all(re.compile("^b")):
print(tag.name)列表:
找到文档中所有<a>标签和<b>标签
soup.find_all(["a", "b"])True:
True 可以匹配任何值, 但是不会返回字符串节点
for tag in soup.find_all(True):
print(tag.name)方法:
可以定义一个方法, 方法只接受一个元素参数, 如果这个方法返回 True 表示当前元素匹配并且被找到, 如果不是则反回 False
这里是官方文档上面的例子:
下面代码找到所有被文字包含的节点内容
from bs4 import NavigableString
def surrounded_by_strings(tag):
return (isinstance(tag.next_element, NavigableString)
and isinstance(tag.previous_element, NavigableString))
for tag in soup.find_all(surrounded_by_strings):
print tag.name
find_all 的方法原型:
find_all( name , attrs , recursive , text , **kwargs )name 参数:
name 参数可以查找所有名字为 name 的 tag, 字符串对象会被自动忽略掉
soup.find_all("p") 查找所有的 p 标签
keyword 参数:
soup.find_all(id='link2',class_='title') , 这个将会查找到同时满足这两个属性的标签，这里的class必须用class_传入参数，因为class是python中的关键词
有些属性不能通过以上方法直接搜索，比如html5中的data-*属性，不过可以通过attrs参数指定一个字典参数来搜索包含特殊属性的标签
data_soup.find_all(attrs={"data-foo": "value"})
text 参数:
通过 text 参数可以搜索文档中的字符串内容, 与 name 参数的可选值一样, text 参数接受 字符串 , 正则表达式 , 列表, True
soup.find_all("a", text="Elsie")
limit 参数:
find_all() 方法返回全部的搜索结构, 如果文档树很大那么搜索会很慢, 如果我们不需要全部结果, 可以使用 limit 参数限制返回结果的数量, 效果与SQL中的limit关键字类似
soup.find_all("a", limit=2)
recursive 参数:
调用tag的 find_all() 方法时, Beautiful Soup 会检索当前 tag 的所有子孙节点,如果只想搜索 tag 的直接子节点, 可以使用参数 recursive=False
soup.html.find_all("title", recursive=False)
find():
find( name , attrs , recursive , text , **kwargs )
find_all() 方法将返回文档中符合条件的所有 tag, 尽管有时候我们只想得到一个结果, 比如文档中只有一个<body>标签,那么使用 find_all() 方法来查找<body>标签就不太合适, 使用 find_all 方法并设置 limit=1 参数不如直接使用 find() 方法, 下面两行代码是等价的:
soup.find_all('title', limit=1)
soup.find('title')
唯一的区别是 find_all() 方法的返回结果是值包含一个元素的列表, 而 find() 方法直接返回结果
find_all() 方法没有找到目标是返回空列表, find() 方法找不到目标时, 返回 None
CSS选择器:
Beautiful Soup支持大部分的CSS选择器:
soup.select("body a")
soup.select("html head title")
soup.select("p > #link1")
soup.select(".sister")更多详细用法戳: 官方文档 css 选择器
参考自 Beautiful Soup 4 官方文档.
