学习爬虫和写爬虫文章
2017年3月我想锻炼数据分析相关技能，但是好像没有什么鲜活的数据，所以开始学习Python爬虫。
那时候还在学校里，忙着毕业论文的事情，断断续续地学了起来。百度贴吧是我实战的主要战场，从小贴吧（几千条数据）到大贴吧（200万条数据），从requests，beautifulsoup，re 到 进程池，代理池，selenium，手机抓包。不知不觉中，自己对爬虫有了些心得。
2017年4月1日开始写爬虫文章，起初是在简书上写，我的文章越写越长，越来越觉得简书对长文章支持不好，所以用github和coding的pages功能，做了一个自己的网站，也就是现在这个，把长文章都迁移到了这里。
- 4月1号，简单网站爬虫的所有技能
- 4月2号，爬虫中的正则表达式（持续更新）
- …..
Python就只用来做爬虫？
有时候网上会评论，写Python文章的十有八九是做爬虫的，哑然失笑。我学习Python，还真不是为了做爬虫，最先学习的三个库是numpy、matplotlib和pandas
话说回来，做爬虫怎么了？
博客爬虫文章
梳理一下爬虫文章的思路和总结一下文章的优缺点
- Python_数据存储
- 介绍csv，pymongo，pymysql的简单使用场景
- 如果是大量数据的话，从以后数据分析的角度，建议使用关系型数据库
- 简单网站爬虫的所有技能
- requests
- beautifulsoup
- 爬虫中的正则表达式（持续更新）
- re
- Python_爬虫_代理池
- 介绍一种简单的构建思路
- Python_爬虫_多进程
- fork和pool的简单使用
- 讲好多进程需要较好的编程基础，我还没有，:)
- selenium简单使用，beautifulsoup始终beautiful
- 介绍selenium简单使用
- driver.page_source让爬虫人虎躯一震，去你的js
- Python_爬虫_手机抓包
- fiddler
- 模拟器
- 其余爬取思路几乎一样
- Python_json_eval_yaml
- 当python自带的json库不好用的时候，试试yaml和eval吧
可视化文章
- 有一群人在玩数据
- 数据可视化团队，EasyCharts
- 女性数据分析团队，DataGirls
- 高考吧分析
- 关于爱情—某豆瓣小组
下一步计划
重点放在数据分析上，爬虫文章不会新增了，只为维护更新，十分欢迎其他朋友的投稿
