python 爬虫获取网站信息（一）

2023年3月3日 111次阅读 来源: 一字腾云

爬取网站：http://www.xici.net.co/nn
获取网络代理，将代理写入本地文件，并保存

import requests
from bs4 import BeautifulSoup
#import MySQLdb
#import MySQLdb.cursors
import sys
reload(sys)
sys.setdefaultencoding('utf8')


proxy_info = []
filename = "proxy.txt"

url = 'http://www.xici.net.co/nn'
page_code = requests.get(url).text
soup = BeautifulSoup(page_code)
table_soup = soup.find('table')
proxy_list = table_soup.findAll('tr')[1:]



for tr in proxy_list:
    td_list = tr.findAll('td')
    ip = td_list[2].string
    port = td_list[3].string
    ip = ip + ':' +port
    proxy_info.append(ip)

f = open(filename,'w')

for i in proxy_info:
    f.write(i + '\n')
f.close()
    原文作者：一字腾云
    原文地址: https://blog.csdn.net/liyuetao680/article/details/48197011
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞