Python请求与robots.txt 2023年6月13日 robots-txt 0条评论 168次阅读 0人点赞 我有一个供个人使用的脚本,它会刮掉一些网站以获取信息,直到最近它工作得很好,但似乎有一个网站增加了它的安全性,我再也无法访问其内容了. 我正在使用带有请求的python和BeautifulSoup来抓取数据,但是当我尝试…