Python爬虫之Requests库——亚马逊商品页面的爬取

由于这是由爬虫引起的浏览器访问，被亚马逊网站拒绝访问。因此要把user-agent改为标准浏览器Mozilla/5.0

import requests

url="https://www.amazon.cn/gp/product/B01M8L5Z3Y"
try:
    kv={'user-agent':'Mozilla/5.0'}
    r=requests.get(url,headers=kv)
    r.raise_for_status()
    r.encoding=r.apparent_encoding
    print(r.text[1000:2000])
except:
    print("爬取失败")