像DOM这样的标准方法可以有选择地解析html页面,但我想知道爬虫(从小到大)如何检测要分析的主要文本在哪里？

主要文本将被分析用于捕获其关键字,与菜单,侧边栏,页脚等混合使用.爬虫如何知道从菜单和侧面部分跳过关键字？

我正在开发一个小型PHP项目来捕获各种HTML页面中的关键字,我不知道如何避免从侧面内容中捕获关键字.任何人都可以描述或至少给我一个提示如何区分HTML页面中的其他主要内容？

最佳答案 侧栏,菜单和页脚通常在整个站点的每个页面上重复.实际内容通常对每个页面都是唯一的.您可以将其用作区分实际内容的指南.

爬虫还使用复杂的算法来分析页面上的文本,以确定其作为内容的权重,并且他们倾向于不分享他们的秘密.

没有快捷简便的方法,爬虫开发人员必须提出他们自己的创新方法,并共同使用这些方法来获得页面内容的整体情况.