1.创建文件夹的功能:
#file setting
folder_path = "D:/spider_things/2016.4.6/" + file_name +"/"
if not os.path.exists(folder_path):
os.makedirs(folder_path)
上面代码块的意思是:
“os.path.exists(folder_path)”用来判断folder_path这个路径是否存在,如果不存在,就执行“os.makedirs(folder_path)”来创建这个路径
2.爬取信息并保存至本地html(保存网页信息)
import urllib.request
import pymysql
#------------------pymysql
# 数据库
conn = pymysql.connect(host='主机名IP', user='用户名', passwd='密码', db='数据库名')
cur = conn.cursor()
sql = "select 网站的URL,需要创建文件的名称 from 表名"
reCount = cur.execute(sql) # 返回受影响的行数
data = cur.fetchall()
def getHtml(url):
html = urllib.request.urlopen(url).read()
return html
def saveHtml(file_name, file_content):
# 注意windows文件命名的禁用符,比如 /
with open("E:/fangguan_html/{0}.html".format(file_name), "wb") as f:
# 写文件用bytes而不是str,所以要转码
f.write(file_content)
for i in range(reCount):
html = getHtml(data[i][0])
saveHtml(data[i][1], html)
print(data[i][1])
print("下载成功:-------------------{0}".format(i))