Python爬虫:正文提取第三方库goose

正文提取库goose,效果不是太好,要求不高的话可以试试用

github:https://github.com/grangier/python-goose

安装

git clone https://github.com/grangier/python-goose.git
cd python-goose
pip install -r requirements.txt
python setup.py install

代码实例

# -*- coding: utf-8 -*-

# @File    : pygoose_demo.py
# @Date    : 2018-07-25
# @Author  : Peng Shiyu

from goose import Goose
from goose.text import StopWordsChinese

g = Goose({'stopwords_class': StopWordsChinese})
url = "http://www.xinhuanet.com/politics/2018-07/25/c_1123175375.htm"
article = g.extract(url=url)
print(article.title)
print(article.cleaned_text)

输出如下:

习近平出席拉马福萨总统举行的欢迎暨庆祝中南建交20周年晚宴-新华网


7月24日,国家主席习近平在比勒陀利亚出席南非总统拉马福萨举行的欢迎习近平主席对南非进行国事访问暨庆祝中南建交20周年晚宴。这是习近平发表致辞。新华社记者 谢环驰 摄

习近平发表致辞,对中南建交20周年表示热烈祝贺,向长期以来为中南友好作出贡献的各界人士致以崇高敬意和衷心感谢。习近平指出,中南友好事业在两国老一辈领导人关心和培育下不断发展壮大,两国人民友谊不断巩固深化。1998年1月1日,中南正式建立外交关系,由此掀开了两国关系新的历史篇章。20年来,中南关系实现了重大跨越。中南关系快速发展是中非合作不断深化的生动写照,也是发展中大国团结协作的典范。

习近平强调,短短20年间中南关系能够取得如此丰硕的成果,关键在于双方坚持互帮互助、互尊互信、互利互惠、相知相亲、相依相靠,为两国关系发展奠定了重要的感情基础、政治基础、经济基础、民意基础、战略基础。20年的经验弥足珍贵。我们要牢牢把握双边关系前进方向,巩固高水平政治互信,始终做坦诚相待、风雨同舟的同志加兄弟;要持续释放两国发展潜力,推进高质量务实合作,更好造福两国人民;要增进两国人民相互了解和友谊,开展更密切的人文交流;要继续在国际事务中守望相助,加强高层次战略协作,共同推动建设新型国际关系、构建人类命运共同体。

习近平指出,中南关系前景无限广阔,但也需要我们不停向前迈步。在中南两国迈上发展新征程之际,我们更应该手牵手、心连心,助力彼此实现发展梦想。相信有两国人民坚定支持,我们一定能够创造新时代中南关系新的辉煌。

拉马福萨表示,热烈欢迎习近平主席访问南非,很高兴在此同习主席一起庆祝南中建交20周年。20年来,南中两党、两国和两国人民间保持着密切交往,在双边、区域和全球层面开展了良好合作。南中关系正处于历史最好时期。习主席此访彰显南中关系已超越一般的双边关系,具有战略意涵。南方将同中方一道,落实好两国达成的共识,深化经贸、科技、人文等各领域合作,继续推进南中全面战略伙伴关系,继续推进非中友好合作。

猜你喜欢

转载自blog.csdn.net/mouday/article/details/81211622