Xiaobai はどのようにして Python クローラーを使い始めますか? これは私が今まで見た中で最も詳細な入門チュートリアルです

この記事は初心者を対象としています。最も単純なケースを使用して、Python クローラーを使い始める方法を説明します。

Python クローラーを使い始めるには、まず 4 つの問題を解決する必要があります

Pythonプログラミングに精通している
HTMLを理解する
Web クローリングの基礎を理解する
Python クローラーライブラリの使用方法を学ぶ

01 クローラーとは何か、その基本的なプロセスは何ですか?

Web クローラーは、実際にはネットワークデータコレクションと呼ばれ、より理解しやすいものです。

プログラミングによってWebサーバーからデータ（HTMLフォーム）を要求し、HTMLを解析して必要なデータを抽出することです。

基本的なプロセスは次の 4 つのステップに要約されます。

1. リクエストを開始する

HTTP ライブラリを介してターゲットサイトへの要求を開始します。つまり、追加のヘッダーやその他の情報を含めることができる要求を送信し、サーバーが応答するのを待ちます。この要求のプロセスは、ブラウザーを開いて、ブラウザーのアドレスバーに URL (www.baidu.com) を入力し、Enter をクリックするのと似ています。このプロセスは、実際には、ブラウジングクライアントとしてのブラウザがサーバーにリクエストを送信するのと同じです。

2. レスポンスの内容を取得する

サーバーが正常に応答できれば、Response を取得します. Response の内容は、取得するコンテンツです. 種類には、HTML、Json 文字列、バイナリデータ (写真、ビデオなど) およびその他の種類が含まれる場合があります. このプロセスは、サーバーがクライアントの要求を受け取り、ブラウザーに送信された Web ページの HTML ファイルを解析することです。

3. コンテンツを解析する

取得したコンテンツは HTML である場合があり、正規表現と Web ページ解析ライブラリを使用して解析できます。また、分析のために Json オブジェクトに直接変換できる Json の場合もあります。これは、保存またはさらに処理できるバイナリデータの場合があります。この手順は、ブラウザがサーバー側のファイルをローカルで取得し、解釈して表示することと同じです。

4. データを保存する

保存方法は、データをテキストとして保存するか、データをデータベースに保存するか、jpg、mp4 などの特定の形式のファイルとして保存することができます。これは、ウェブページを閲覧するときにウェブページ上の写真やビデオをダウンロードすることに相当します。