嗨,我正在完成我的一个小业余爱好项目,以创建一个小规模的搜索引擎.

我想知道是否有人知道他们使用的一个像样的强大的开源网络爬虫？它应该很容易设置和使用菜鸟.

谢谢你没有谷歌搜索网页抓取工具和粘贴列表.

最佳答案
crawler4j是一个相当不错的爬虫,多线程,易于配置和使用.它是用Java编写的.

您可以在此wikipedia page中找到开源搜寻器列表.