リクエストモジュールを使用してBaidu翻訳をクロールします

言うまでもありませんが、コードにアクセスしてください。わからない場合は、私が最後に投稿した記事を参照してください。今回はFirefoxブラウザを使用することをお勧めします。2345とwin10に付属のブラウザを使用しましたが、正常に実行しても何も取得できません。

import requests
import json
if __name__ == '__main__':
    #1. 指定url
    post_url = 'https://fanyi.baidu.com/sug'
    #2. UA伪装
    headers = {
        'User Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3947.100 Safari/537.36'
    }
    #3. 发送请求
    word = input('enter a word:')
    data = {
        'kw':word
    }
    response = requests.post(url=post_url,data=data,headers=headers)
    #4. 获取数据:json返回的是obj（如果确认响应数据是json类型的，才可以使用json()）
    dic_obj = response.json()
    #5. 永久化存储
    fileName = word + '.json'
    a= open(fileName,'w',encoding='utf-8')
    json.dump(dic_obj,fp=a,ensure_ascii=False)#中文，所以json不能使用Ascii
    print('保存成功')

結果は次のとおりです。

受信したデータタイプはjsonタイプであるため、実行後に取得されるファイルはjsonファイルです。これはWebページにあります。

開いているファイルの内容は次のとおりです。たとえば、愛を這う結果