Python 爬虫学习笔记三：多页内容爬取&内容分析及格式化

2019年6月16日 119次阅读 来源: JennyChen333

Python 爬虫学习笔记三：多页内容爬取&内容分析及格式化

  1. python int 与 string 之间的转换：

Python int与string之间的转化
string–>int

1、10进制string转化为int

　int(‘12’)

2、16进制string转化为int

　　int(‘12’, 16)

int–>string

1、int转化为10进制string

　　str(18)

2、int转化为16进制string

　　hex(18)

2 . 由于链家网上面选中第二页的时候，只是在页面后面多了一个“d2”, 如： http://sh.lianjia.com/ershoufang/pudong/d2 ， 所以要想爬取更多的网页只需要循环更新requests 的页面URL

3 . 增加了一个循环之后，可以打印所有的爬取结果

from lxml import etree
import requests
import string
url = 'http://sh.lianjia.com/ershoufang/'
region = 'pudong'
price = 'p23'
finalURL = url+region+price

def spider_room(finallyURL):
   r= requests.get(finallyURL)
   html = requests.get(finalURL).content.decode('utf-8')
   dom_tree = etree.HTML(html)
   # all the messages
   all_message = dom_tree.xpath("//ul[@class='js_fang_list']/li")
   for index in range(len(all_message)):
      print(all_message[index].xpath('string(.)').strip())
   return
for i in range(20):
   finallyURL = finalURL + '/d'+str(i)
   spider_room(finallyURL)

4 . 爬取了20页的内容，可是内容的结果输出的形式并没有改变

【注】 看到的比较好的文章

[1] 利用Python爬取朋友圈数据，爬到你开始怀疑人生
[2] 请问爬虫如何爬取动态页面的内容？
[3] 如何用爬取的数据赚钱
[4] 钱塘数据大数据交易中心
[5] 利用爬虫技术能做到哪些很酷很有趣很有用的事情？

    原文作者：JennyChen333
    原文地址: https://blog.csdn.net/JennyChen66/article/details/78540842
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞