python – 简单的Web爬虫我需要消除数组中出现的重复的URL

2019年8月3日 227次阅读

我正在使用数组来存储URL,我需要消除在数组中出现多次的URL,因为我不需要再次抓取相同的URL：

self.level = []  # array where the URL are present 
for link in self.soup.find_all('a'):
    self.level.append(link.get('href'))
    print(self.level)

我需要在抓取此网址之前消除重复的网址.

最佳答案 保持
set个网址：

self.level = set()
for link in self.soup.find_all('a'):
    self.level.add(link.get('href'))
点赞