1.xpath
注: 事前に xpath プラグインをインストールしてください
(1) Chrome ブラウザを開きます
(2) 右上隅の小さな点をクリックします
(3) その他のツール
(4) 拡張プログラム
(5) xpath プラグインを拡張プログラムにドラッグします
(6) ) crx ファイルが無効な場合は、サフィックスを zip に変更する必要があります
(7) もう一度ドラッグします
(8) ブラウザを閉じて再度開きます
(9) Ctrl + Shift + X
(10) 小さな黒いボックスが表示されます
これはインストールされていることを示しているようです
xpath の基本構文:
1. パス クエリ //: 階層関係に関係なく、すべての子孫ノードを検索 /: 直接の子ノードを検索
2. 述語クエリ //div[@id] //div[@id="maincontent"]
3. 属性クエリ // @class
4. ファジー クエリ //div[contains(@id, “he”)] //div[starts‐with(@id, “he”)]
5. コンテンツ クエリ //div/h1/text() 6 .論理演算 //div[@id="head" and @class="s_down"] //title | //price
1. lxml ライブラリをインストールします
pip install lxml -i https://pypi.douban.com/simple 2. lxml import etree から
lxml.etree をインポートします3.etree.parse()ローカル ファイルを解析します html_tree = etree.parse('XX. html') 4.etree.HTML() サーバー応答ファイルhtml_tree = etree.HTML(response.read().decode('utf-8') 5.html_tree.xpath(xpath path)
小さなコード例のデモ:
import urllib.request
from lxml import etree
import ssl
ssl._create_default_https_context = ssl._create_unverified_context
def create_request(page):
if (page == 1):
url = 'https://sc.chinaz.com/tupian/qinglvtupian.html'
else:
url = 'https://sc.chinaz.com/tupian/qinglvtupian_' + str(page) + '.html'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36',
}
request = urllib.request.Request(url=url,headers=headers)
return request
def get_content(request):
response = urllib.request.urlopen(request)
content = response.read().decode('utf-8')#将从网站上读取到的网站源代码编译为utf-8的格式。
return content
def down_load(content):
#下载图片
#urllib.request.urlretrieve("图片地址",'文件的名字')#
#解析服务器相应文件使用的HTML。解析本地文件使用的parse。
#tree = etree.parse()
tree = etree.HTML(content)
name_list = tree.xpath('//div[@class="container"]//div/img/@alt')
#//div[@class="container"]//div/img/@src
# 一般设计图片的网站都会进行懒加载
src_list = tree.xpath('//div[@class="container"]//div/img/@data-original')
for i in range(len(name_list)):
name = name_list[i]
src = src_list[i]
url = 'http:' + src
urllib.request.urlretrieve(url=url,filename=name+'.jpg')
if __name__ == '__main__':
#start_page =
#end_page =
start_page = 1
end_page = 3
for page in range(start_page,end_page+1):
#请求对象的定制
request = create_request(page)
#获取网页的源码
content = get_content(request)
#下载
down_load(content)
print('结束运行')
2.美しいスープ
1. BeautifulSoupの略称：bs4
2. BeautifulSoupとは？BeautifulSoup は、lxml と同様に、データの解析と抽出を主な機能とする HTML パーサーです
。短所: 効率は lxml ほど高くありません。 長所: インターフェース設計がユーザーフレンドリーで使いやすいです。
注: 開いているファイルのエンコード形式はデフォルトで gbk であるため、開くにはエンコード形式を指定する必要があります。