このチュートリアルで説明されているクロール計画が完成し、2020年10月26日
繰り返しになりますが、この記事で紹介するテクノロジーは学習のみを目的としており、主要な短いビデオプラットフォームで悪意を持って攻撃されるべきではありません。主要なショートビデオプラットフォームサーバーに生じた損失は、ご自身の責任で行ってください。
Pythonクローラー：マルチプラットフォームの短いビデオからウォーターマークダウンローダー
ビデオは圧縮されています。元のビデオのHDアドレス：https：//www.bilibili.com/video/BV1cr4y1w7yz/
転載の際は作者と元の住所を教えてください〜
著者：West Ya Man
CSDNプロファイル：West Ya Man
記事のアドレス：https：//blog.csdn.net/qq_41707308/article/details/109293116
特徴
このソフトウェアはPythonで記述され、リクエストライブラリはデータのクロールに使用され、GUIインターフェイスはPyQt5を使用して記述されているため、通常のユーザーが使いやすくなっています。
- 透かしを完全に削除します。見栄えの良い動画を収集するときに、透かしや煩わしいクレジットについて心配する必要はありません。
- マルチプラットフォームのサポート、Douyin、Kuaishou、Weishi、Pippi Funnyのサポート、ほとんどのユーザーが一般的に使用する小さなビデオソフトウェアをカバーします。
- GUIインターフェースの設計は、迅速で使いやすいエクスペリエンスをもたらし、Xiaobaiもそれを使用します。
- プログレスバー表示機能の増加により、プログラムの実行プロセスを視覚的に確認できます。
- マルチスレッド取得は、インターフェイスの中断されたアニメーションを防ぐためにデータクロールに採用されています。
各プラットフォームの内訳
ドゥイン
まず共有リンクを取得し、Douyinでビデオを開き（すべての共有ビデオで同じ方法を使用できます）、右下隅にある共有ボタンを選択して、コピーリンクをクリックします。
リンクを取得する方法：
リンクをコピーする：
コピーしたリンクを見ると、リンクにURLアドレスだけでなく、テキスト記号も含まれていることがわかります。したがって、最初のステップは、コピーしたリンクに含まれているURLアドレスとファイル名を抽出することです。
def compile_name_url(url_text):
# 正则匹配分享链接，获取链接非空字符前的几个字符作为文件名
video_name = re.match(r'\S*', url_text)
if video_name:
video_name = video_name.group()
print(video_name)
# 正则匹配分享链接，获取链接
first_url = re.search(r'https://v.douyin.com/.*?/', url_text)
if first_url:
first_url = first_url.group()
print('第一次url==》', first_url)
return first_url, video_name
リンクをブラウザにコピーして、データパケット分析データをキャプチャします。必要なターゲットビデオリンクは、3番目の画像で返されるjsonデータにあり、対応するフィールドを取得するだけで済みます。
ただし、思ったほど簡単ではありません。リンクを取得すると、取得したURLが直接ブラウザにコピーされ、結果にウォーターマークが付けられます（下図を参照）。URLアドレスをよく見ると、playwmフィールドとwmがあります。ウォーターマークの略で、透かしです。wmを削除した後で再度アクセスすると、透かしのないアドレスが表示されます。それでおしまい！
コード：
def first_request(first_url):
headers = {
'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
'accept-encoding': 'gzip, deflate, br',
'accept-language': 'zh-CN,zh;q=0.9',
'sec-fetch-dest': 'document',
'sec-fetch-moe': 'navigate',
'sec-fetch-site': 'none',
'upgrade-insecure-requests': '1',
'user-agent': 'Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4195.1 Mobile Safari/537.36'
}
response = requests.get(first_url, headers=headers)
print('第二次url==》', response.url) # 获取第一次重定向后的url
# 截取第二次请求需要的参数
content = re.search(r'\d\d*\d', response.url).group()
params = {
"item_ids": content}
return params
def second_request(params):
response = requests.get('https://www.iesdouyin.com/web/api/v2/aweme/iteminfo/', params=params)
result = response.json() # 获得第二次请求的json，并从json中查找第三次请求需要的url
# print(result)
second_url = result['item_list'][0]['video']['play_addr']['url_list'][0]
play_url = re.sub(r'playwm', 'play', second_url)
print('第三次url==》', play_url)
return play_url
クイックワーカー
Kuaishouプラットフォームはよりシンプルで、リンクを取得するのと同じ方法です。
リンクを取得する方法：
リンクをコピーする：
TikTokと同じ方法でURLとビデオ名を抽出します。ここではコードを繰り返さず、リンク要求の内容の直接分析を開始します。
返されるテキストには透かしのないビデオが含まれており、名前も明らかな「srcNoMark」（透かしリソースなし）です。このURLに直接リクエストしてください。ミスアイベイの歌が楽しめます！！！
コード：
def second_request(second_url):
headers = {
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
'Accept-Encoding': 'gzip, deflate, br',
'Accept-Language': 'zh-CN,zh;q=0.9',
'Connection': 'keep-alive',
'Cookie': 'did=web_209e6a4e64064f659be838aca3178ec1; didv=1603355622000',
'Host': 'c.kuaishou.com',
'Sec-Fetch-Dest': 'document',
'Sec-Fetch-Mode': 'navigate',
'Sec-Fetch-Site': 'none',
'Upgrade-Insecure-Requests': '1',
'User-Agent': 'Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4195.1 Mobile Safari/537.36'
}
response = requests.get(second_url, headers=headers)
content = response.text
video_url = re.search(r'"srcNoMark":"https://txmov2.a.yximgs.com/.*?\"', content).group()[13:-1]
print(video_url)
return video_url
マイクロビジョン
同じルーチンで、最初にリンクを取得します。
リンクを取得する方法：
リンクを取得する方法：
次に、リンクをブラウザにコピーし、分析のためにパケットをキャプチャします。ビデオが配置されているURLアドレスが、要求されたjsonファイルに保存されていることがわかります。次に、これはパラメータを使用した投稿リクエストであり、Webページで分析する必要があることがわかりました。
最初に最初のリクエストに戻って、パラメータがあるかどうかを確認します。注意深く観察した後、必要なパラメータfeedidが実際にはリンクの一部であることがわかったため、クロール戦略を変更して最初にリンクを取得する必要があります。パラメータを取得したら、次の手順に進んでビデオを取得します。
コード：
def compile_name_url(url_text):
video_name = re.findall(r'(\w*)', url_text)
feedid = re.findall(r'feed/(\w*)', url_text)
if video_name and feedid:
video_name = video_name[0]
feedid = feedid[0]
return feedid, video_name
def first_request(feedid):
headers = {
'accept': 'application/json',
'accept-encoding': 'gzip, deflate, br',
'accept-language': 'zh-CN,zh;q=0.9',
'content-length': '84',
'content-type': 'application/json',
'cookie': 'RK=BuAQ1v+yV3; ptcz=6f7072f84fa03d56ea047b407853df6a5375d719df1031ef066d11b09fb679e4; pgv_pvi=8434466816; pgv_pvid=1643353500; tvfe_boss_uuid=3b10306bf3ae662b; o_cookie=1074566721; pac_uid=1_1074566721; ied_qq=o1074566721; LW_sid=k1Y5n9s3Y0K866h7P246v4k6o8; LW_uid=u1v5i9V3p0L806m7R226s4W7F1; eas_sid=J1p5G9s3A0h8Z6c7l2a6x4E7w7; iip=0; ptui_loginuin=1074566721; person_id_bak=5881015637151283; person_id_wsbeacon=5920911274348544; wsreq_logseq=341295039',
'origin': 'https://h5.weishi.qq.com',
'sec-fetch-dest': 'empty',
'sec-fetch-mode': 'cors',
'sec-fetch-site': 'same-origin',
'user-agent': 'Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4195.1 Mobile Safari/537.36',
'x-requested-with': 'XMLHttpRequest'
}
rejson = {
'datalvl': "all",
'feedid': feedid,
'recommendtype': '0',
'_weishi_mapExt': '{}'
}
first_url = 'https://h5.weishi.qq.com/webapp/json/weishi/WSH5GetPlayPage'
response = requests.post(first_url, headers=headers, json=rejson)
result = response.json()
video_url = result['data']['feeds'][0]['video_url']
return video_url
ピッピおかしい
同じ手順で、最初にリンクを取得します。
リンクを取得する方法：
リンクをコピーする：
共有文字列を見ると、今回は動画の名前が追加されておらず、すべての動画の名前はリクエストされたコンテンツからしか取得できないことがわかります。まず、リンクをブラウザに配置してデータを分析します。
今回も投稿リクエストであり、パラメータも必要であることがわかりました。Weishiの経験から、元の共有リンクをよく確認しましたが、予想通り、変更された2つのパラメータはリンクに隠されています。pidパラメータとmidパラメータを取得してから、ビデオを取得するためのリクエストを開始するだけです。
コード：
def compile_name_url(url_text):
headers = {
'Host': 'share.ippzone.com',
'Origin': 'http://share.ippzone.com',
'Referer': url_text,
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36 Edg/84.0.522.52'
}
mid = re.findall(r'mid=(\d*)', url_text)
pid = re.findall(r'pid=(\d*)', url_text)
if mid and pid:
mid = int(mid[0])
pid = int(pid[0])
parmer = {
'mid': mid,
'pid': pid,
'type': 'post'
}
url = 'http://share.ippzone.com/ppapi/share/fetch_content'
r = requests.post(url, headers=headers, json=parmer)
result=r.json()
video_name = result['data']['post']['content'].replace(' ', '')
video_url = result['data']['post']['videos'][str(result['data']['post']['imgs'][0]['id'])]['url']
return video_url, video_name
総括する
プログラミングの初心者としてブログを書くのはこれが初めてです。書くのが良くないか、十分に明確ではないかもしれません。それは純粋に技術的な交換と共有です。共有されるコンテンツは学習と研究のみを目的としており、主要なビデオプラットフォームサーバーへの悪意のある攻撃は許可されていません。
最後に、皆さんの再版で出典を教えてください〜
著者：West Ya Man
CSDNプロファイル：West Ya Man
記事のアドレス：https：//blog.csdn.net/qq_41707308/article/details/109293116