考虑一张网页：
上图的正文部分在哪里呢？
大概是在这一块，正文就是用户关心的部分。一般来说，用户并不怎么关注广告，也不关注导航和链接。因为这并不是我们进入这个网页的主要目的。当然上图只显示了内容的一部分。
那么它的原文呢？
请求：
:curl -o baidu https://baike.baidu.com/item/%E7%99%BE%E5%BA%A6/6699
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 243k 0 243k 0 0 119k 0 --:--:-- 0:00:02 --:--:-- 119k
打开会是一大堆的网络源码，下面只显示部分：
</div><div class="para-title level-2" label-module="para-title">
<h2 class="title-text"><span class="title-prefix">百度</span>公司简介</h2>
</div>
<div class="para" label-module="para"><div class="lemma-picture text-pic layout-right" style="width:220px; float: right;">
<a class="image-link" nslog-type="9317"
href="/pic/%E7%99%BE%E5%BA%A6/6699/0/2cf5e0fe9925bc31b88d80d45cdf8db1ca1370ae?fr=lemma&ct=single" target="_blank"
title="" style="width:220px;height:141px;">
<img class="lazy-img" src="data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAAAEAAAABCAMAAAAoyzS7AAAAGXRFWHRTb2Z0d2FyZQBBZG9iZSBJbWFnZVJlYWR5ccllPAAAAAZQTFRF9fX1AAAA0VQI3QAAAAxJREFUeNpiYAAIMAAAAgABT21Z4QAAAABJRU5ErkJggg==" data-src="https://bkimg.cdn.bcebos.com/pic/2cf5e0fe9925bc31b88d80d45cdf8db1ca1370ae?x-bce-process=image/resize,m_lfit,w_220,h_220,limit_1" alt="" style="width:220px;height:141px;"/>
</a>
</div>百度是全球最大的中文搜索引擎，是中国最大的以信息和知识为核心的互联网综合服务公司，更是全球领先的人工智能平台型公司。2000年1月1日创立于<a target=_blank href="/item/%E4%B8%AD%E5%85%B3%E6%9D%91/170054" data-lemmaid="170054">中关村</a>，公司创始人<a target=_blank href="/item/%E6%9D%8E%E5%BD%A6%E5%AE%8F/125160" data-lemmaid="125160">李彦宏</a>拥有“<a target=_blank href="/item/%E8%B6%85%E9%93%BE%E5%88%86%E6%9E%90/10661939" data-lemmaid="10661939">超链分析</a>”技术专利，也使中国成为美国、俄罗斯、和韩国之外，全球仅有的4个拥有<a target=_blank href="/item/%E6%90%9C%E7%B4%A2%E5%BC%95%E6%93%8E/104812" data-lemmaid="104812">搜索引擎</a>核心技术的国家之一。</div>
<div class="para" label-module="para">作为全球最大的中文搜索引擎，百度每天响应来自100余个国家和地区的数十亿次搜索请求，是网民获取中文信息的最主要入口。百度以“用科技让复杂的世界更简单”为使命，不断坚持技术创新，致力于“成为最懂用户，并能帮助人们成长的全球顶级高科技公司”。</div>
<div class="para" label-module="para"><div class="lemma-picture text-pic layout-right" style="width:220px; float: right;">
<a class="image-link" nslog-type="9317"
href="/pic/%E7%99%BE%E5%BA%A6/6699/0/3801213fb80e7bec46055b282f2eb9389a506b1f?fr=lemma&ct=single" target="_blank"
title="" style="width:220px;height:148px;">
<img class="lazy-img" src="data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAAAEAAAABCAMAAAAoyzS7AAAAGXRFWHRTb2Z0d2FyZQBBZG9iZSBJbWFnZVJlYWR5ccllPAAAAAZQTFRF9fX1AAAA0VQI3QAAAAxJREFUeNpiYAAIMAAAAgABT21Z4QAAAABJRU5ErkJggg==" data-src="https://bkimg.cdn.bcebos.com/pic/3801213fb80e7bec46055b282f2eb9389a506b1f?x-bce-process=image/resize,m_lfit,w_220,h_220,limit_1" alt="" style="width:220px;height:148px;"/>
</a>
</div>百度是中国最大的以信息和知识为核心的互联网综合服务公司。在AI驱动下，百度的移动生态是中国最大的以信息和知识为核心的移动生态，以百家号、智能小程序和托管页为主要支柱。2019年百度用户规模突破10亿。<a target=_blank href="/item/%E7%99%BE%E5%BA%A6App/8548470" data-lemmaid="8548470">百度App</a>日活跃用户2亿，信息流位居中国第一。<a target=_blank href="/item/%E7%99%BE%E5%AE%B6%E5%8F%B7/19730924" data-lemmaid="19730924">百家号</a>创作者达到260万。<a target=_blank href="/item/%E7%99%BE%E5%BA%A6%E6%99%BA%E8%83%BD%E5%B0%8F%E7%A8%8B%E5%BA%8F/22603550" data-lemmaid="22603550">百度智能小程序</a>是国内唯一完全开源的小程序平台，月活用户规模破3.16亿。<a target=_blank href="/item/%E7%99%BE%E5%BA%A6%E7%9F%A5%E9%81%93/92140" data-lemmaid="92140">百度知道</a>、<a target=_blank href="/item/%E7%99%BE%E5%BA%A6%E7%99%BE%E7%A7%91/85895" data-lemmaid="85895">百度百科</a>、<a target=_blank href="/item/%E7%99%BE%E5%BA%A6%E6%96%87%E5%BA%93/4928294" data-lemmaid="4928294">百度文库</a>等六大知识类产品累计生产超10亿条高质量内容，构建了中国最大的知识内容体系。</div>
<div class="para" label-module="para">百度是全球领先的人工智能平台型公司。<a target=_blank href="/item/%E7%99%BE%E5%BA%A6%E5%A4%A7%E8%84%91/13333434" data-lemmaid="13333434">百度大脑</a>是中国唯一的“软硬一体AI大生产平台”，是百度AI的集大成，对外全方位输出超过240项AI能力。<a target=_blank href="/item/%E9%A3%9E%E6%A1%A8/23472642" data-lemmaid="23472642">飞桨</a>是中国首个也是国内目前唯一一个全面开源开放、功能完备的产业级深度学习平台，是中国自主研发的“智能时代的操作系统”。<a target=_blank href="/item/%E7%99%BE%E5%BA%A6%E6%99%BA%E8%83%BD%E4%BA%91/23409424" data-lemmaid="23409424">百度智能云</a>是百度AI To B业务的重要承载者和输出者，是产业智能化领导者。<a target=_blank href="/item/%E5%B0%8F%E5%BA%A6/23331497" data-lemmaid="23331497">小度</a>助手是中国最大的对话式人工智能操作系统，拥有中国市场规模最大、最繁荣的对话式人工智能生态，12月小度助手语音交互次数超过50亿次。作为全球最大自动驾驶开放平台，<a target=_blank href="/item/Apollo/20625961" data-lemmaid="20625961">Apollo</a>代表中国最强自动驾驶实力。目前已形成自动驾驶、车路协同、智能车联三大开放平台。自动驾驶方面，超过十项中国第一，技术实力领跑行业。</div>
<div class="para" label-module="para">百度以技术创新为信仰，在创新投入、研发布局、人才引进方面均走在国际前列。根据国家工业信息安全发展研究中心《人工智能中国专利技术分析报告》显示，2019年中国人工智能专利申请量排名中，百度以5712件位列第一。</div>
<div class="para" label-module="para">百度一直秉承着“科技为更好”的社会责任理念，坚持运用创新技术，聚焦于解决社会问题，履行企业公民的社会责任，为帮助全球用户创造更加美好的生活而不断努力。百度成立3亿元疫情及公共卫生安全攻坚专项基金，用于支持新型冠状病毒等新疾病的治愈药物筛选、研发等一系列抗击疫情工作，以及更长期的社会公共卫生安全信息科普和传播等。百度“AI寻人”项目与民政部进行合作，借助跨年龄人脸识别技术，已帮助超10000万个走失者与家人团聚。目前，百度“共益计划”已收到超过300家公益组织机构的入驻申请，涵盖了教育、环保、医疗、扶贫等广阔的社会议题。<sup class="sup--normal" data-sup="1" data-ctrmap=":1,:3,">
[1]</sup><a class="sup-anchor" name="ref_[1]_5583090"> </a>
包括了各种各样的链接，样式，广告，导航。。。
网络正文的识别就是从HTML文档中提取出我们感兴趣的部分，即正文。
