Python：Beautifulsoup返回None或[]

2023年4月6日 226次阅读

你好我正在练习我的请求和网络抓取技巧,所以我试图刮掉youtube上的趋势页面,并拉出趋势的视频的标题,这是这个链接
youtube

这是运行的代码

import requests
from bs4 import BeautifulSoup

url = 'https://www.youtube.com/feed/trending'
html = requests.get(url)
soup = BeautifulSoup(html.content, "html.parser")
a = soup.find_all("a", {"id": "video-title"})
print(a)

并返回[],我不明白为什么它在源代码中返回[]时,

最佳答案 打印变量html.content的内容 – 它是否包含该ID？

我的赌注是否定的,youtube.com是一个依赖javascript的网站,但是请求模块没有js引擎.您的浏览器通常看到的不是请求所看到的模块.

点赞