Pythonクローラーの高度な記事-beautifulsoupライブラリを使用して、Webページの記事コンテンツの実用的なデモをクロールする

フォックスニュースの記事を例に取り、記事全体をクロールしてみましょう。

最初のタイトルである。これは、構造から理解することができるコンテンツことでH1ノードの下のクラスである物品ヘッダタイトルであり、及びテキストコンテンツのDOMノードを得ることができるを通してストリング。

# 获取文章标题
alert_header = soup.find('header', class_="article-header").find('h1')
print(alert_header.string)

そして、テキストがあります構造から、クラスがarticle-bodyであるノードの下のp要素がテキストのコンテンツを構成しており、ボディの下のすべてのノードがcontentsを通じて取得できることがわかります。次に、すべてのノードをトラバースし、すべてのp要素の下のコンテンツを出力します。

from urllib.request import urlopen
from bs4 import BeautifulSoup

url = urlopen('https://www.foxnews.com/tech/mom-received-dirty-diapers-amazon')
soup = BeautifulSoup(url, 'html.parser')   # parser 解析

# 获取文章标题
alert_header = soup.find('header', class_="article-header").find('h1')
print("标题如下：")
print(alert_header.string)

# 获取文章正文
alert_body = soup.find('div', class_="article-body").contents   # 所有body里的p节点

# 打印文章正文
print("正文如下：")
for i in alert_body:
    if(i.name == "p"):
        print(i.getText())
        print()

ランニング効果チャート：
途中に広告がある場合は、記事の本文や広告の構造を確認し、さらに広告を消すことができます。

気に入ったら気に入ってください❤！