【毕设做搜索引擎，先搭爬虫系统，挖个坑慢慢写。】

基于phantomjs，语言是java，之前纠结了很久用java还是用node。因为后续还有分词、建索引balabala的，java有很多成熟的框架可以直接用。
今天听海洋大大的一句话：“年轻人才会纠结用什么语言”

爬虫部分

爬虫分三大功能块级：

1.downloader 请求模块，对指定URL发起请求
2.pageProcess 处理抓回来的页面代码，过滤代码取出文本
3.pipeLine 数据库操作

一、Downloader

基于phantomjs模块，对指定的url进行抓取，返回原生代码。

为什么要用phantomjs呢？因为可以完美解决页面数据异步加载问题，省时省力省心哈哈哈哈~~！

坑

（一）抓取的URL服务器挂掉了，需要等待很久。

解决方案：建立url黑名单，设置最大超时时间为15s，超过加载时间3次的url列入黑名单。下次再碰到该url直接跳过。

（二）网站特别慢，需要加载几十秒才能返回全部数据。

解决方案：同上

（三）flash页面无法抓取，主要是页游页面。

解决方案：还木有解决哈哈哈哈。

二、pageProcess

处理页面代码模块。downloader抓回来的源代码推送到这里。

1、各种字符串处理，去掉多余的html，留下文本，推入已抓取数据。

2、借用cheerio，筛选出源码里面的url，经过pipeLine推入待抓取队列。

助攻爬虫部分

一、排重

排重分两部分：1、URL排重，2、数据排重。

URL排重利用Bloom Filter，很容易实现。

数据排重：由于大量网站显示的内容类似，因此只要抓取一个就行了。如何排重？还没准备好算法。数据量比较大，，每抓取一次都遍历？二分法用上了。

二、线程

每个CPU核开两个线程，多台服务器一起抓。