用Node.js做一个GitHub爬虫

用Node.js写了一个爬虫,可以获取GitHub各种编程语言star数前十的库

在线地址: http://www.flypie.cn:9999/

GitHub地址:

技术栈

  • 后端框架 koa

  • 数据获取 axios获取数据 cheerio抓取数据

  • 数据存储可选本地json存储或redis存储

  • node-schedule 开启定时任务抓取数据并更新本地存储

  • 前端用vue2.0和MintUI进行数据展示和操作

功能

我闲的没事的时候经常逛GitHub,看看现在star排行榜上靠前的库,
于是干脆做了一个小爬虫来定时抓取GitHub上star数前十的库,
然后根据编程语言进行选择浏览,功能很简单,大概做了一天时间。

主要时间都花在调试,因为GitHub防爬虫做的很好,
如果发送请求过多过快会被封或返回429错误(429表示请求过于频繁)。

最后放个项目截图:

《用Node.js做一个GitHub爬虫》

    原文作者:flyer_dev
    原文地址: https://segmentfault.com/a/1190000008382540
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞