近期因为工作需要，开始学习和写爬虫，学习到了很多内容，就整理了一下发上来。 需求 这里爬虫的目的是检测网站的漏洞，因此希望做成类似于burpSuit的历史记录一样的。 初步需求是简单地爬取网站的链接，去重，尝试绕过反爬虫…