どこライトがクロール

urllib.requestインポート要求から
urllib.request輸入urlopenから
BS4インポートBeautifulSoupから

URL = " https://www.amazon.com/s?k=led+strip+lights&page=1 "
ヘッダ= { "のUser-Agent":「Mozillaの/ 5.0(Windows NTの6.3; Win64の、x64の)のAppleWebKit / 537.36 (ヤモリのようにKHTML、)...... "#保密、按F12即可知道自己的专属のUser-Agent
"リファラー":" https://www.amazon.com/Nike-Womens-Pegasus-Running-Shoes/dp / B07CXGMVJL / REF = cts_sh_2_vtp」、
"権威": "www.amazon.com"、
"パス": "?/ sのK =率い+ストリップ+ライト&REF = nb_sb_noss_1"、
"クッキー": ""}#此处保密

REQ =要求(URL = urlには、ヘッダ=ヘッダ)
応答= urlopen(REQ)
プリント(タイプ(レスポンス))
スープ= BeautifulSoup(応答、 "lxmlの")
プリント(タイプ(スープ))
製品= soup.find( "div要素」{ "クラス": "S-結果リストS-検索結果SG-列"})

ショーあたりのライトの数を知りたいが、結果はそうではありません

印刷(亜麻仁(products.div.div))

印刷(products.div.div)

印刷(products.get_text())

<スパンクラス=「サイズベースプラス色ベーステキスト正常」

ヘッダ= products.find(「スパン」、{「クラス」:「サイズベースプラス色ベーステキスト正常」})
プリント(「ヘッダ」、header.string.strip() )
スコア= products.find( "スパン"、{ "クラス": "アイコン-ALT"})
プリント( "スコア"、score.string.strip())
レビュー= products.find( "DIV"、 {「クラス」:「行サイズ小」}。)子孫の
印刷(レビュー)
「」」
レビュー= review.find( 『スパン』、{ 『クラス』: 『サイズベース』})
プリント( "レビュー:"、review.string.strip())
価格= products.find( "スパン"、{ "クラス": " -オフスクリーン"})
プリント( "価格"、price.string.strip( ))
配信=製品。見つける( "I"、{ "ARIAラベル": "アマゾンプライム"})
の場合配達:
FBA = Trueの
他:
FBA = Falseの
印刷( "FBA:"、FBA)
IMAGE_URL = products.find( "IMG"、{ "クラス": "S-画像"})
IMAGE_URL = image_url.attrs [ "SRC"]
印刷( "IMAGE_URL:"、IMAGE_URL)
クーポン= products.find( "スパン" 、{ "クラス": "サイズベースS-クーポンハイライトカラーS-強調表示されたテキスト・パディングAOK-インラインブロック"})
プリント( "クーポン"、coupon.string.strip())
Sponsered = products.find( "スパン"、{ "クラス": "サイズ塩基色副"})
Sponsered場合:
Sponsered = Trueの
他:
Sponsered = Falseの
印刷( "Sponsered:"、Sponsered)
"" "

""」
のNum = 0
製品Proの:
プリント(NUM)
ATTRS =
#asin = pro.div.div.attrs [ "データASIN"]
#print(ASIN、 "\ n")
なし+ = 1
『』 」

未完、ING

おすすめ

転載: www.cnblogs.com/wyy1480/p/11247779.html