爬虫類の研究ノートを要求ライブラリー

クラスコードmooc 5クロール
1.クロールJingdongは

import requests
url="https://item.jd.com/100007926792.html"
try:
    r=requests.get(url)
    r.raise_for_status()
    r.encoding=r.apparent_encoding
    print(r.text[:1000])
except:
    print("error")

2.クロールアマゾン

import requests
url="https://www.amazon.cn/dp/B00D20QFXQ?ref_=Oct_DLandingS_D_4a27ed07_61&smid=A3TEGLC21NOO5Y"
try:
    kv={'user-agent':'Mozilla/5.0'}
    r=requests.get(url,headers=kv)
    r.raise_for_status()
    r.encoding=r.apparent_encoding
    print(r.text[0:1000])
except:
    print('error')

360の3. Baiduは提出されたキーワード検索
します。http：//www.baidu.com/s WD =キーワード？Baiduのキーワードインターフェイスの
キーワードインタフェース360：のhttp：//www.so.com/s Q =キーワードを？

あるいはキーワードのいずれかの異なるQが提出WDに置き換えることができ、すなわち

import requests
keyword="python"
try:
    kv={'wd':keyword}
    r=requests.get("http://www.baidu.com/s",params=kv)
    print(r.request.url)
    r.raise_for_status()
    print(len(r.text))
except:
    print("error")

4.ネットワーク接続形式の画像
http://www.example.com/picture.jpg

import requests
import os
url = "图片链接“

root="保存路径（D：//）
path=root+url.splot('/')[-1]
try:
    if not os.path.exists(root):
        os.mkdir(root)
    if not os.path.exists(path):
        r=requests.get(url)
        with open(path,'wb') as f:
            f.write(r.content)
            f.close()
            print("文件保存成功")
    else:
        print("文件已存在")
except:
    print("error")

5.IPアドレス検索

import requests
url = "http://m.ip138.com/ip.asp?ip="
try:
    r=requests.get(url+'202.24.80.112')
                  
    r.raise_for_status()
    r.encoding=r.apparent_encoding
    print(r.text[-500:])
except:
    print("error")