60小时Python爬虫学习:从100行数据到10W+数据

这是我Python爬虫学习第31天笔记

从4月30号开始,我每天学习Python、写代码、爬取数据。先看一下学习成果。

一、一个月写了18篇文章:

《60小时Python爬虫学习:从100行数据到10W+数据》 Python学习笔记

**一个月共写了18篇文章,16998字。阅读量 7295, 评论 90, 喜欢 378, 打赏 0 **(其中8篇文章上了简书首页)。
目录如下,
随便说一下,这些数据的统计和目录列表的生成都是Python爬虫实现的,方法见这篇文章:《简书连载作者福音: 一键生成连载目录和连载作品排行统计(Python爬虫应用》。

Scrapy用Cookie实现模拟登录
Srcapy+Redis+mongodb实现一个爬虫中遇到的问题
Scrapy+Mongodb爬取数据
BeautifulSoup提取内容的小技巧
Mongodb基本命令
简书连载作者福音: 一键生成连载目录和连载作品排行统计(Python爬虫应用)
简书连载作品龙虎榜: 一个爬虫的应用
Python中小知识点汇总
Scrapy爬取简书用户url分析
使用Scrapy爬取大规模数据
Python爬虫框架Scrapy快速入门
XPath提取多个标签下的text
Python爬虫学习:简书签约作者知多少?
用Python玩转QQ群论坛
爬虫搜索神器BeautifulSoup和XPath 的使用
成长会不完全大数据-Python爬虫案例
当我们学Python时,我们学什么?
10行代码完成一个爬虫,就这么简单

二、一次爬取数据达到10W+

一个月的时间,爬取过的站点有:知笔墨、QQ群论坛、58赶集、前程无忧、简书。爬取的数据有:简书首书热门(七日热门、三十日热门),爬取找出简书签约作者,赶集、58简历库简历筛选,简书作者信息(文章数、字数、关注数、粉丝数、阅读数、喜欢数、打赏数、评论数)。

从一开始的爬取简书首页热门数据99条,到昨天爬取简书用户信息超过11W。从一开始用Excel, csv保存下载数据,到现在用mongdb存储。

《60小时Python爬虫学习:从100行数据到10W+数据》 简书30日热门数据
《60小时Python爬虫学习:从100行数据到10W+数据》 数据超过10W时
《60小时Python爬虫学习:从100行数据到10W+数据》 爬虫成功访问了41W页,获取数据119,700条

三、学习掌握了这些内容

到现在为止涉及和掌握的内容: urllib, urlib2, requests, xlrd, xlwt, re, BeautifulSoup, XPath, Scrapy, mongodb, Redis

这些都是从一个Dome的10多行代码开始拆解、分析、模仿开始,就这样一步步迭代的方式来学习。

四、总结一下学习方法

  1. 项目和问题驱动
    Python爬虫的学习,我没有按部就班地拿一本Python入门的书开始系统地学习,一个个知识点的来过,而是围绕想解决的问题,想实现的功能,一步步解决问题的方式推进。你可以看到,好几篇文章中我是先实现了一个功能,再总结过程中遇到了哪些问题,是怎么解决的,又遇到了什么问题,就记下来,先存疑。

    《简书连载作者福音: 一键生成连载目录和连载作品排行统计(Python爬虫应用)》这篇文章,就是看到简书上的统计连载作品排行时,手工统计太麻烦,就用Python爬虫来解决。还有工作中一些简历筛选,我也用爬虫处理了。

  2. 高频度集中学习
    每天2小时,首先找一个安静的学习环境,远离舒适区,一般选择下班后的办公室或图书馆。学习中间没有任何打扰,不浏览网页、不看IM信息。

当我学到30天时,有一些简友加我,问我Python学习中的问题,居然还有Python程序员,一方面不禁感叹Python内容真广,另一方面我Python学习效果非常明显。我也在简书上遇到从事数据分析的简友,所以我又开了一个专题《Python数据分据》。

点赞

发表评论

电子邮件地址不会被公开。 必填项已用*标注