猫の兄は、あなたが爬虫類爬虫類032--最初の経験を書くことを教える-BeautifulSoup

BeautifulSoupとは何ですか

爬虫類で、所望のデータを抽出するためのHTMLツールを読み取ることができるようにする必要があります。これは、分析データです。

[データを抽出]我々はデータの数から選択する必要があるデータを指します。

解析し、フォーカスの両方で爬虫類のデータを抽出するが、困難も

使用方法BeautifulSoup

インストールbeautifulsoup ==> pip install BeautifulSoup4

括弧内に、2つの入力パラメータに、最初のパラメータがなければならないテキスト、ノート、それを解析する0である文字列でなければなりません。

最初のパラメータは、パーサーを識別するために使用されるブラケット、我々は、Pythonは組み込みのライブラリです使用します。html.parser

import requests #调用requests库
res = requests.get('https://localprod.pandateacher.com/python-manuscript/crawler-html/spider-men5.0.html') 
#获取网页源代码，得到的res是response对象
print(res.status_code) #检查请求是否正确响应
html = res.text #把res的内容以字符串的形式返回
print(html)#打印html
复制代码

import requests
from bs4 import BeautifulSoup
#引入BS库
res = requests.get('https://localprod.pandateacher.com/python-manuscript/crawler-html/spider-men5.0.html') 
html = res.text
soup = BeautifulSoup(html,'html.parser') #把网页解析为BeautifulSoup对象
print(type(soup)) # <class 'bs4.BeautifulSoup'>
复制代码

印刷soupソースコードを、我々が使用する前に、response.textソースコードを印刷することとまったく同じです

けれどもresponse.textおよびsoup表面の内容をプリントアウトするには、まったく同じに見えます

彼らは、異なるクラスに属しています<class 'str'>し、<class 'bs4.BeautifulSoup'>

抽出データ

我々はまだ使用BeautifulSoupデータを抽出します。

：このステップで、知識は二つの部分に分けることができるだけでなく。find()find_all()Tag对象

find()そして、find_all()あるBeautifulSoupオブジェクトの二つの方法が、

彼らは、HTMLタグと属性を一致させることができ、データの要件を満たすBeautifulSoupオブジェクトが抽出され、

違いは、あるfind()要件を満たすために最初の、及びのデータのみ抽出find_all()抽出されたデータは、すべての要件を満たすために

localprod.pandateacher.com/python-manu...

HTMLコード三存在<div>を持つ要素は、find()最初の要素を抽出することができ、そしてfind_all()全て抽出することができます

import requests
from bs4 import BeautifulSoup
url = 'https://localprod.pandateacher.com/python-manuscript/crawler-html/spder-men0.0.html'
res = requests.get (url)
print(res.status_code)
soup = BeautifulSoup(res.text,'html.parser')
item = soup.find('div') #使用find()方法提取首个<div>元素，并放到变量item里。
print(type(item)) #打印item的数据类型
print(item)       #打印item 
复制代码

import requests
from bs4 import BeautifulSoup
url = 'https://localprod.pandateacher.com/python-manuscript/crawler-html/spder-men0.0.html'
res = requests.get (url)
print(res.status_code)
soup = BeautifulSoup(res.text,'html.parser')
items = soup.find_all('div') #用find_all()把所有符合要求的数据提取出来，并放在变量items里
print(type(items)) #打印items的数据类型
print(items)       #打印items
复制代码

カッコ内の例えばclass_、Pythonの構文とクラスのために、アンダースコアがあるclassプログラムの競合を避けるため、区別

小演習：ページタイトル3冊の本、リンク、および書評をクロール

localprod.pandateacher.com/python-manu...

知識のもう一つのポイント- Tagオブジェクト。

私たちは通常、選択したtype()機能チェックのデータ型を、

Pythonはオブジェクト指向プログラミング言語であり、唯一のオブジェクトは、関連するオブジェクトのプロパティとメソッドを呼び出すことが何であるかを知っています。

find()抽出されたデータ型とちょうど同じ、またはTagオブジェクト

私たちはできるTag.text提案Tagで、対象のテキストをTag['href']抽出するURL

import requests #调用requests库
from bs4 import BeautifulSoup
# 获取数据
res = requests.get('https://localprod.pandateacher.com/python-manuscript/crawler-html/spider-men5.0.html') 
# res.status_code 状态码
# res.content 二进制
# res.text html代码
# res.encoding 编码
# 解析数据
# soup 是beautifulsoup对象
soup = BeautifulSoup(res.text,'html.parser')
# soup.find(标签名,属性=属性值)
# soup.find_all(标签名, 属性=属性值)
# 提取数据 list 里面是tag对象
item = soup.find_all('div',class_='books')
for i in item:
    # i.find().find().find() # tag对象, 可以一级一级找下去
    # i.find_all()
    # i 是tag对象, 也可以使用find和find_all, 得到结果还是tag对象
    # i.find().find().find().find()
    print(i.find('a',class_='title').text) # 获取标签内容
    print(i.find('a',class_='title')['href']) # 获取标签属性(href)
    print(i.find('p',class_='info').text) # 获取标签内容
复制代码

あなたはスーパーでスナックを購入したい層のようなビットを取得するプロセス

変更プロセスオブジェクト

最初requestsする、データを取得しBeautifulSoupたデータを解析して、BeautifulSoupデータを抽出

ことは、操作の対象である私たちの経験をキャストし続けます

フルバージョン

コードをおさらいするには...

import requests #调用requests库
from bs4 import BeautifulSoup
# 获取数据
res = requests.get('https://localprod.pandateacher.com/python-manuscript/crawler-html/spider-men5.0.html') 
# res.status_code 状态码
# res.content 二进制
# res.text html代码
# res.encoding 编码
# 解析数据
# soup 是beautifulsoup对象
soup = BeautifulSoup(res.text,'html.parser')
# soup.find(标签名,属性=属性值)
# soup.find_all(标签名, 属性=属性值)
# 提取数据 list 里面是tag对象
item = soup.find_all('div',class_='books')
for i in item:
    # i.find().find().find() # tag对象, 可以一级一级找下去
    # i.find_all()
    # i 是tag对象, 也可以使用find和find_all, 得到结果还是tag对象
    # i.find().find().find().find()
    print(i.find('a',class_='title').text) # 获取标签内容
    print(i.find('a',class_='title')['href']) # 获取标签属性(href)
    print(i.find('p',class_='info').text) # 获取标签内容
复制代码

概要

beautifulsoupパーサ

パーザー	使用	優位	恵まれません
Pythonの標準ライブラリ	BeautifulSoup（テキスト、 "html.parser"）	内蔵中等度の強度の文書のフォールトトレランスの標準Pythonライブラリの実行速度	2.7.3または3.2.2差異のフォールトトレランスの前にPythonドキュメントのバージョン
lxmlのHTMLパーサ	BeautifulSoup（テキスト、 "lxmlの"）	強力なスピード文書のフォールトトレランス	あなたは、C言語のライブラリをインストールする必要があります
lxmlのXMLパーサ	BeautifulSoup（テキスト、 "XML"）	のみサポート速いXMLパーサ	あなたは、C言語のライブラリをインストールする必要があります
html5lib	BeautifulSoup（テキスト、 "html5lib"）	ドキュメントHTML5形式の生成	これは、低速の外部拡張に依存しません

ジョブ1：記事をクロールし、（それぞれの記事、htmlファイル）に保存します

wordpress-edu-3autumn.localprod.forc.work

ジョブ2：books.txtに保存し、名前と対応する価格の分類の下に本をクロール

books.toscrape.com

正味の効果...

クイックジャンプ：

ます。https：//juejin.im/post/5cfc4adb6fb9a07eee5ec09aで再現

猫の兄は、あなたが爬虫類爬虫類032--最初の経験を書くことを教える-BeautifulSoup

BeautifulSoupとは何ですか

爬虫類で、所望のデータを抽出するためのHTMLツールを読み取ることができるようにする必要があります。これは、分析データです。

[データを抽出]我々はデータの数から選択する必要があるデータを指します。

解析し、フォーカスの両方で爬虫類のデータを抽出するが、困難も

使用方法BeautifulSoup

インストールbeautifulsoup ==> pip install BeautifulSoup4

括弧内に、2つの入力パラメータに、最初のパラメータがなければならないテキスト、ノート、それを解析する0である文字列でなければなりません。

最初のパラメータは、パーサーを識別するために使用されるブラケット、我々は、Pythonは組み込みのライブラリです使用します。html.parser

印刷soupソースコードを、我々が使用する前に、response.textソースコードを印刷することとまったく同じです

けれどもresponse.textおよびsoup表面の内容をプリントアウトするには、まったく同じに見えます

彼らは、異なるクラスに属しています<class 'str'>し、<class 'bs4.BeautifulSoup'>

抽出データ

我々はまだ使用BeautifulSoupデータを抽出します。

：このステップで、知識は二つの部分に分けることができるだけでなく。find()find_all()Tag对象

find()そして、find_all()あるBeautifulSoupオブジェクトの二つの方法が、

彼らは、HTMLタグと属性を一致させることができ、データの要件を満たすBeautifulSoupオブジェクトが抽出され、

違いは、あるfind()要件を満たすために最初の、及びのデータのみ抽出find_all()抽出されたデータは、すべての要件を満たすために

localprod.pandateacher.com/python-manu...

HTMLコード三存在<div>を持つ要素は、find()最初の要素を抽出することができ、そしてfind_all()全て抽出することができます

カッコ内の例えばclass_、Pythonの構文とクラスのために、アンダースコアがあるclassプログラムの競合を避けるため、区別

小演習：ページタイトル3冊の本、リンク、および書評をクロール

localprod.pandateacher.com/python-manu...

知識のもう一つのポイント- Tagオブジェクト。

私たちは通常、選択したtype()機能チェックのデータ型を、

Pythonはオブジェクト指向プログラミング言語であり、唯一のオブジェクトは、関連するオブジェクトのプロパティとメソッドを呼び出すことが何であるかを知っています。

find()抽出されたデータ型とちょうど同じ、またはTagオブジェクト

私たちはできるTag.text提案Tagで、対象のテキストをTag['href']抽出するURL

あなたはスーパーでスナックを購入したい層のようなビットを取得するプロセス

変更プロセスオブジェクト

最初requestsする、データを取得しBeautifulSoupたデータを解析して、BeautifulSoupデータを抽出

ことは、操作の対象である私たちの経験をキャストし続けます

フルバージョン

フルバージョン

コードをおさらいするには...

概要

beautifulsoupパーサ

ジョブ1：記事をクロールし、（それぞれの記事、htmlファイル）に保存します

wordpress-edu-3autumn.localprod.forc.work

ジョブ2：books.txtに保存し、名前と対応する価格の分類の下に本をクロール

books.toscrape.com

正味の効果...

クイックジャンプ：

おすすめ

インストールbeautifulsoup ==> `pip install BeautifulSoup4`

最初のパラメータは、パーサーを識別するために使用されるブラケット、我々は、Pythonは組み込みのライブラリです使用します。`html.parser`

印刷`soup`ソースコードを、我々が使用する前に、`response.text`ソースコードを印刷することとまったく同じです

けれども`response.text`および`soup`表面の内容をプリントアウトするには、まったく同じに見えます

彼らは、異なるクラスに属しています`<class 'str'>`し、`<class 'bs4.BeautifulSoup'>`

我々はまだ使用`BeautifulSoup`データを抽出します。

：このステップで、知識は二つの部分に分けることができるだけでなく。`find()find_all()Tag对象`

`find()`そして、`find_all()`ある`BeautifulSoup`オブジェクトの二つの方法が、

違いは、ある`find()`要件を満たすために最初の、及びのデータのみ抽出`find_all()`抽出されたデータは、すべての要件を満たすために

HTMLコード三存在`<div>`を持つ要素は、`find()`最初の要素を抽出することができ、そして`find_all()`全て抽出することができます

カッコ内の例えば`class_`、Pythonの構文とクラスのために、アンダースコアがある`class`プログラムの競合を避けるため、区別

知識のもう一つのポイント- `Tag`オブジェクト。

私たちは通常、選択した`type()`機能チェックのデータ型を、

`find()`抽出されたデータ型とちょうど同じ、または`Tag`オブジェクト

私たちはできる`Tag.text`提案`Tag`で、対象のテキストを`Tag['href']`抽出するURL

最初`requests`する、データを取得し`BeautifulSoup`たデータを解析して、`BeautifulSoup`データを抽出