【网页正文识别及提取算法】基于正文特征分块

什么是正文特征

网页主要由以下三部分组成：

• 正文文本
• 锚点文本（链接）
• 标签文本

网络正文通常在网页中占了大量的篇幅，大量的语句，且包含了标点符号。我们可以利用这些特征将正文快速的分块出来。

网页分块

浏览器呈现网页的时候，会把内容相似的网页放在一块。

我们可以关注描述布局结构的标签，比如table，tr，td，div等等。另外还可以关注b，title，hn这种说明主题信息的标签。

步骤大致如下：

• 对网页进行块识别
• 获取块开始和块结束的位置，获取块标签
• 然后划分子块，开始深度搜索依次标记
• 直到结束的位置

分块算法利用了HTML标签结构的特点。

预处理

计算前先去除不必要的标签，比如样式，脚本等，可以利用工具。

计算

field text_length; //非锚点文本字数
field linktext_length; //锚点文本字数
field punctuation_count; //非锚点文本标点符号数
field text_support;	//正文文本字数特征的支持度
field punctuation_support; //非锚点文本标点符号数的支持度
field textarea_support; //块具有正文特征的支持度

text_support = text_length/linktext_length;

punctuation_support =

• 1 when punctuation_count>=6
• 0.5 when 3<=punctuation_count<=5
• 0 when punctuation_count<=2

textarea_support = text_support*punctuation_support;

处理

根据以上的计算结果，如果具有正文信息就把该块保留，如果没有就进行去除。信息块的精准定位（重复以上步骤），然后噪音修剪。