《Web Content Extraction Through Machine Learning》 通过机器学习来提取网页内容

2014年，未见期刊会议上登载，作者 Ziyan Zhou @stanford.edu

简介

数据集

以新闻文章网站为主
数据集链接 https://github.com/ziyan/spid…

网页分块

本文采用了phantom.js作为headless webkit browser（无头浏览器，现在有更好的方法了，比如puppeteer.js）
对于每一个包含文本的DOM元素，算法会找到它最近的父元素标记为块。
遗憾的是，作者对一些噪音数据的处理没有详细地进行解释。

分块效果如图所示

聚类

由于不同网页之间设计和布局存在较大差异，作者选择了DBSCAN作为聚类算法来解决簇数目未知/簇形状未知/噪声等问题（未给出距离函数）。

DBSCAN 密度聚类算法 大致原理就是选择一个样本节点，聚集所有密度可达的样本形成一个类，相比k-means聚类算法而言更适用于稠密的数据库，想要详细了解的可以
点击这里

寻找内容块

通过与标题简介等meta信息对比文本间的差异（最长公共子序列LCS算法），来评估每一个集群与描述之间的相似性。

分类

支持向量机SVM与交叉验证

特征选择

以下特征效果依次递增

• 文本长度
• 标签路径
• CSS选择器
• CSS属性

总结
emmm，有点浅了，数据集太少，而且针对性也太强，导致出来的结果很好，但是没有什么说服力，还是有可以参考的地方的。