今天我们要做的事情是使用动态爬虫来爬取QQ空间的说说，并把这些内容存在txt中，然后读取出来生成云图，这样可以清晰的看出朋友的状况。
这是好友的QQ空间10年说说内容，基本有一个大致的印象了。
爬取动态内容
1.因为动态页面的内容是动态加载出来的，所以我们需要不断下滑，加载页面
2.切换到当前内容的frame中,也有可能不是frame,这里需要查看具体情况
3.获取页面源数据，然后放入xpath中，然后读取
# 下拉滚动条，使浏览器加载出动态加载的内容，
# 我这里是从1开始到6结束 分5 次加载完每页数据
foriinrange(1,6):
height =20000*i#每次滑动20000像素
strWord =”window.scrollBy(0,”+str(height)+”)”
driver.execute_script(strWord)
time.sleep(4)
# 很多时候网页由多个<frame>或<iframe>组成，webdriver默认定位的是最外层的frame，
# 所以这里需要选中一下说说所在的frame，否则找不到下面需要的网页元素
driver.switch_to.frame(“app_canvas_frame”)
selector = etree.HTML(driver.page_source)
divs = selector.xpath(‘//*[@id=”msgList”]/li/div[3]’)
所有的注释都在代码中，所以也就不作详情说明，
爬取说说的完整代码
#coding:utf-8
importtime
fromseleniumimportwebdriver
fromlxmlimportetree
#这里一定要设置编码格式，防止后面写入文件时报错
importsys
reload(sys)
sys.setdefaultencoding(“utf-8”)
friend =’XXX’# 朋友的QQ号，朋友的空间要求允许你能访问
user =’XXX’# 你的QQ号
pw =’XXXX’# 你的QQ密码
#获取浏览器驱动
driver = webdriver.Firefox()
# 浏览器窗口最大化
driver.maximize_window()
# 浏览器地址定向为qq登陆页面
driver.get(“http://i.qq.com”)
# 所以这里需要选中一下frame，否则找不到下面需要的网页元素
driver.switch_to.frame(“login_frame”)
# 自动点击账号登陆方式
driver.find_element_by_id(“switcher_plogin”).click()
# 账号输入框输入已知qq账号
driver.find_element_by_id(“u”).send_keys(user)
# 密码框输入已知密码
driver.find_element_by_id(“p”).send_keys(pw)
# 自动点击登陆按钮
driver.find_element_by_id(“login_button”).click()
# 让webdriver操纵当前页
driver.switch_to.default_content()
# 跳到说说的url, friend你可以任意改成你想访问的空间
driver.get(“http://user.qzone.qq.com/”+ friend +”/311”)
next_num =0# 初始“下一页”的id
whileTrue:
# 下拉滚动条，使浏览器加载出动态加载的内容，
# 我这里是从1开始到6结束 分5 次加载完每页数据
foriinrange(1,6):
height =20000*i#每次滑动20000像素
strWord =”window.scrollBy(0,”+str(height)+”)”
driver.execute_script(strWord)
time.sleep(4)
# 很多时候网页由多个<frame>或<iframe>组成，webdriver默认定位的是最外层的frame，
# 所以这里需要选中一下说说所在的frame，否则找不到下面需要的网页元素
driver.switch_to.frame(“app_canvas_frame”)
selector = etree.HTML(driver.page_source)
divs = selector.xpath(‘//*[@id=”msgList”]/li/div[3]’)
#这里使用 a 表示内容可以连续不清空写入
withopen(‘qq_word.txt’,’a’)asf:
fordivindivs:
qq_name = div.xpath(‘./div[2]/a/text()’)
qq_content = div.xpath(‘./div[2]/pre/text()’)
qq_time = div.xpath(‘./div[4]/div[1]/span/a/text()’)
qq_name = qq_name[0]iflen(qq_name)>0else”
qq_content = qq_content[0]iflen(qq_content)>0else”
qq_time = qq_time[0]iflen(qq_time)>0else”
printqq_name,qq_time,qq_content
f.write(qq_content+”\n”)
# 当已经到了尾页，“下一页”这个按钮就没有id了，可以结束了
ifdriver.page_source.find(‘pager_next_’+ str(next_num)) ==-1:
break
# 找到“下一页”的按钮，因为下一页的按钮是动态变化的，这里需要动态记录一下
driver.find_element_by_id(‘pager_next_’+ str(next_num)).click()
# “下一页”的id
next_num +=1
# 因为在下一个循环里首先还要把页面下拉，所以要跳到外层的frame上
driver.switch_to.parent_frame()
这样所有的说说内容就可以爬取到了。并且存到了同级目录中
生成词云
生成词云需要用到的库：
wordcloud, 生成词云
matplotlib， 生成词云图片
jieba ，这个库可用可不用，但我因为中文一直显示不出来，后来加上了这个库，就能显示中文了。
#coding:utf-8
“””
使用结巴分词生成云图
说明这里
1.生成词云一定要设置字体样式，否则汉字出现乱码或者不显示
2.我不知道为什么本机一直显示不了中文，后面我加了jieba分词词库就可以显示中文了
“””
fromwordcloudimportWordCloud
importmatplotlib.pyplotasplt
importjieba
#生成词云
defcreate_word_cloud(filename):
text= open(“{}.txt”.format(filename)).read()
# 结巴分词
wordlist = jieba.cut(text, cut_all=True)
wl =” “.join(wordlist)
# 设置词云
wc = WordCloud(
# 设置背景颜色
background_color=”white”,
# 设置最大显示的词云数
max_words=2000,
# 这种字体都在电脑字体中，一般路径
font_path=’C:\Windows\Fonts\simfang.ttf’,
height=1200,
width=1600,
# 设置字体最大值
max_font_size=100,
# 设置有多少种随机生成状态，即有多少种配色方案
random_state=30,
)
myword = wc.generate(wl)# 生成词云
# 展示词云图
plt.imshow(myword)
plt.axis(“off”)
plt.show()
wc.to_file(‘py_book.png’)# 把词云保存下
if__name__ ==’__main__’:
create_word_cloud(‘word_py’)
