iQIYIのVIPムービーをクロールPythonの爬虫類を使用する方法?

環境:Windowsのpython3.7

アイデア:

1、最初にクロールしたい動画を選択

VIPを分析するための2、分析ツールは、アドレスを取得します

3、スクリプト、ダウンロードクリップを書きます

4、コンピュータを使用してフラグメント

必要なPythonモジュール:

##最初のモジュールをインストールしないでください、第二のモジュールをインストールする必要があります

1、マルチプロセッシングインポートプールから

2、インポート要求

インストールモジュール##

Windowsのコマンドライン端末を使用して

リクエストをインストールするPIP

 

まず、あなたが映画の最初の登りを選択する必要があり、この場合には簡単にアドレスをコピーし、VIPの映画を見つけました

 

第二に、VIPを解決するための分析ツールを使用して、アドレスを取得

 (A)インターネット検索を行い、VIPの決意をクリックしてください

 

 

 

(B)、映画のアドレスを貼り付け、[再生]をクリックします

 

 

(C)、F12キーを押したり、開発者ツールのインターフェイスを入力するには、チェックポイントを右クリックして、ネットワーク上でクリックし、アドレスをコピー

 

 

第三に、クリップをダウンロードするためにクローラを使用して、スクリプトを書きます

コードをコピー
##説明:スクリプトがダウンロードiQIYIのために現在、テンセント動画VIP動画
##著者:劉
##電話:何かコメントを入力してください
##注:全体のpython爬虫類の学習者にのみ適し、愛好家には適していませんが、特別に映画を見に行きます
モジュールが要求をダウンロードする必要がある2つのモジュール##、導入
マルチプロセッシング・インポートプールから
インポート要求
##漢の数を定義します
デフデモ(I):
    ##%3dはパラメータの数は、それが時間である場合、私は1ないパラメータを防止するために、彼の3バックプラス0に戻し取られ、URLを定義1 001となります
    URL = "https://vip.okokbo.com/20180114/ArVcZXQd/1000kb/hls/phJ51837151%03d.ts" %のI
    ##は、要求ヘッダーを定義します
    ヘッダー= { "ユーザエージェント" の "Mozilla / 5.0(Windows NTの10.0; WOW64)のAppleWebKit / 537.36(KHTML、ヤモリ等)クローム/ 49.0.2623.221サファリ/ 537.36"}
    ##カスタムのリクエストオブジェクトを構築
    REQ = requests.get(URL、ヘッダ=ヘッダ)
    ## URLにちなんで名付けられた数十に現在のディレクトリ名にmp4ファイル内のファイルを保存します
    オープンと( './ MP4 / {}' 形式(URL [-10:]。)、 'WB')Fとして得ました:
        f.write(req.content)

プログラムコード入口##
__name __ == '__ MAIN__' の場合:
    ##プロセス・プールは、同時に20個のタスクを実行することができます定義、または低速ダウンロードします
    プール=プール(20)
    ##ミッションコード
    レンジ(100)でのiについて:
        pool.apply_async(デモ、(I))

    
    pool.close()
    pool.join()
コードをコピー

 

 第四に、コンピュータ合成断片の使用

(A)、映画ストアのパスをコピー

 

 コマンドラインに窓付き(B)、アドレスペースト

 

 

 

 (C)、ディレクトリの* .TSで終わるすべてのファイルをコピーし、ファイルにコピーします

 

 

 

 (4個)、マージ

 

 

 

(E)、検証します

 

 

おすすめ

転載: www.cnblogs.com/ouyang99-/p/11782683.html