一个爬freebuf所有历史文章的爬虫

Freebuf-Spider

一个抓取freebuf所有栏目的文章的爬虫,以离线网页形式展现,上传了一些爬取好的结果

程序运行方式

  python freebuf.py

《一个爬freebuf所有历史文章的爬虫》

  • 输入文件名:输入要生成的html文件的文件名
  • 输入栏目网址:freebuf文章分成了很多栏目,在分类阅读里面可以获取每个栏目的网址

《一个爬freebuf所有历史文章的爬虫》

  • 该栏目总共有多少页:在栏目网址后面加上 /page/页数
http://www.freebuf.com/sectool    -->
http://www.freebuf.com/sectool/page/100

如果返回是

《一个爬freebuf所有历史文章的爬虫》

说明这个栏目没有这么多页,写程序的二分法不用我教吧,用这个方法可以快速得出总页数,然后填上即可

需要模块

  import requests
  import re
  import urllib

输出结果

暂时爬取了三个栏目放在这里,大家可以看下效果,自己可以动手爬其他的

终端安全

可以看到freebuf终端安全的文章从建站到现在全部在这里了

《一个爬freebuf所有历史文章的爬虫》

安全工具合集

《一个爬freebuf所有历史文章的爬虫》

下载

程序和生成结果在这里下载!

各位给个star吧(●’◡’●)

    原文作者:hfyhfyfhy
    原文地址: https://www.jianshu.com/p/36e88702853b
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞