重构人人贷爬虫程序(released)

重构已经完成并发布,在原项目地址,有空之后再写新版本的说明

之前曾经写过一个爬取人人贷交易数据的爬虫,主要用到了urllib2包进行请求,通过re包正则表达式进行提取数据,考虑到需要登陆进行爬取时,urllib2 不如requests 更稳定,同时较为复杂的正则表达式效率较低,准备通过requests包和bs4 进行重构,特开贴记录重构过程中的问题和思考。

原项目地址:View on Github

TODO

  • 重构urllib2 模块
  • 重构re 模块
  • 兼容 Python 2 / 3
    原文作者:科斯莫耗子
    原文地址: https://www.jianshu.com/p/a23364eaf3f4
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞