1. 目標を定めて仕事の準備をする

1.取得対象：本取得チュートリアル対象：某ホットサーチ

2. 準備

環境 python3.x
リクエスト
パンダ

request と pandas は、このチュートリアルに必要なライブラリです。request は http リクエストのシミュレートに使用され、pandas はデータ処理 (結果を Excel として保存) に使用されます。

Chrome ブラウザで要求されたページを開き、F12 キーを押してブラウザコンソールを開きます。「ネットワーク」をクリックしてネットワークを選択し、「XHR」をクリックします。対応する XHR リクエストを見つけると、ホット検索データインターフェイスを取得できます。

2. コーディングを開始する

依存ライブラリをインポートする

import requests
import pandas as pd

リクエストヘッダーを作成します。

browse_header = {
    
    
    "Accept": "application/json, text/plain, */*",
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.60 Safari/537.36",
    "Host": "top.baidu.com",
    "Referer": "https://top.baidu.com/board",
}

リクエストインターフェイス、つまりデータアドレスを定義します。

url = "https://top.baidu.com/api/board?platform=wise&tab=realtime"

リクエストを送信すると、インターフェイスは JSON 形式を返すため、ここで 1 つのステップが実行され、応答結果も JSON 形式に変換されます。

json = requests.get(url, headers=browse_header).json()

注: トレンド検索には、ある程度の 2 種類があり、1 つは上位トレンド検索、もう 1 つは通常のトレンド検索であるため、別々に取得する必要があります。

# 爬取置顶热搜
top_content_list = json['data']['cards'][0]['topContent']
# 爬取普通热搜
content_list = json['data']['cards'][0]['content']

次に、対応するフィールド (タイトル、ランキング、ホット検索インデックス、説明、リンクアドレス) を個別に json 分析を実行します。

df = pd.DataFrame(  # 拼装爬取到的数据为DataFrame
	{
    
    
		'热搜标题': title_list,
		'热搜排名': order_list,
		'热搜指数': score_list,
		'描述': desc_list,
		'链接地址': url_list
	}
)
df.to_excel('百度热搜榜.xlsx', index=False)  # 保存结果数据

完了コード:

import requests
import pandas as pd

browse_header = {
    
    
    "Accept": "application/json, text/plain, */*",
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.60 Safari/537.36",
    "Host": "top.baidu.com",
    "Referer": "https://top.baidu.com/board",
}
url = "https://top.baidu.com/api/board?platform=wise&tab=realtime"
json = requests.get(url, headers=browse_header).json()

# 爬取置顶热搜
top_content_list = json['data']['cards'][0]['topContent']
print(top_content_list)
# 爬取普通热搜
content_list = json['data']['cards'][0]['content']
print(content_list)
title_list = []
order_list = []
score_list = []
desc_list = []
url_list = []
for top_item in top_content_list:
    title_list.append(top_item.get('word'))
    order_list.append("置顶")
    score_list.append(top_item.get("hotScore"))
    desc_list.append(top_item.get("desc"))
    url_list.append(top_item.get("url"))
index = 0
for content in content_list:
    index += 1
    title_list.append(content.get('word'))
    order_list.append(index)
    score_list.append(content.get("hotScore"))
    desc_list.append(content.get("desc"))
    url_list.append(content.get("url"))
df = pd.DataFrame({
    
    
    '热搜标题': title_list,
    '热搜排名': order_list,
    '热搜指数': score_list,
    '描述': desc_list,
    '链接地址': url_list
})
df.to_excel('百度热搜榜.xlsx', index=False)  # 保存结果数据

最後に、取得したデータを確認します。
ここに画像の説明を挿入
上位トレンド検索1件＋一般トレンド検索30件の合計31件のデータです。

3. まとめ

以上が取得したデータの全体ですが、他にPythonで取得が必要なデータがある場合はコメント欄にメッセージを残してください。最後に、フロントエンドユーティリティJS 暗号化ツールをお勧めします。

Python は Du Niang のホット検索データを取得し、Excel として保存します

Python が Baidu のホット検索データを取得

1. 目標を定めて仕事の準備をする

2. コーディングを開始する

3. まとめ

おすすめ