前言
前段时间和室友闹剧荒，于是萌生出一种做个私人化推荐系统想法。(用户就我们这一个宿舍)而其中电影的资源则是选择来自有大量电影电视剧信息的豆瓣。
目前，电影的信息已经抓取完毕，共有11159条JSON格式的数据，内容包括：
题目
时长
类型
导演
主演
地区
评分
2-3条短评
期间自己琢磨着一些推荐系统的算法，但又不想让这一万多条空闲着，于是期间跑了一个简单的数据分析的脚本，没有高大上的算法，只是做了简单的统计。好吧，我承认我题目起DM二字确实有标题党de意思。如果你还是感兴趣，欢迎往下看。
爬虫
应对反爬虫机制
目前来说豆瓣的反爬虫机制算是可以接受。你只需做到以下两点获取信息应该不成问题。
请求带上头部信息，尤其记得带上自己的cookie。
请求次数别太频繁，除非你的爬虫可以破解豆瓣的验证码问题。
任务队列
我的爬虫采用了广度优先的做法。你在获取一个电影页面的时候，同时会带有同类或相似影片的连接，将这些当成下一个访问点。
在访问的时候，你可能会遇到超时的问题，这时不要舍弃该URL，应对捕获超时异常后重新将URL回到任务队列的尾部，如果你直接舍弃了这个URL，会导致最后的结果有严重的数据缺失。比如我在第一次没考虑到这点，就只爬取到5000多条，少了将近一半。
另外一个要考虑到的就是，你必须记录已经访问过的URL，否则你的爬虫就会一直在死循环。
做到以上，应该就没太大的问题了。
数据分析结果
现在我们想看看演员和好片，烂片之间的关系(各选出前5名)。
现在以7分为标准
小于7分的
大于7分的
全部都是日本演员的名称。这里的补充说明一下，因为豆瓣并无显著信息表明是电视剧还是电影，所以
这数据在意料之外，比如说为什么好片没有某些美国演员的名字，坏片没有某些演员的名字，都可能是因为数据集中不仅仅是电影信息，同时混杂了大量的日剧信息有关。
不过当我把评价标准降低到5分时倒是发生了好玩的事情。
大于5分的
可以说，变化不算特别的大，然后我们再看看小于5分的，前5名演员
呵呵……
然后我们再来看看在5分的情况下，地区与好片，烂片的关系。
先来看好的
这张图就有些符合我们的预期了，接下来再看看坏的。
我只能说这个更是在意料之中了。就个人感受来说，国产虽然近年有所好转，不过明显还得继续努力……
接下来可以看看类型和影片时长的关系，在每个时间段中，选出前5名做代表。
每个时间段中，选出数量最多的前五名，制成饼状图，一目了然。可以发现其实每个时间段中剧情这个类别都是占了最大份额，平常看片的时候就感觉剧情这个分类莫名其妙，你要我说，我也实在说不出啥这类型片有啥特征。
后话
其实我还做了，像导演和好片烂片的关系，时长和地区的关系等等，这里碍于篇幅，不一一举例了，感兴趣的可以到我的github上获取爬虫和数据分析的脚本。
这个项目会记录我学习机器学习和数据挖掘这个过程的一些小作品，关于github上的BetaMeow的介绍可以看这里，至于本文说的内容在DouBanMovie的目录下。
如果你也有ML或DM的作品或小项目，欢迎推荐给我，我们可以互相给出友情链接,互相交流学习。如果你只是单纯对我的项目感兴趣，也欢迎watch或star支持一下，谢谢大家。
