1. クローラーとは何ですか?
クローラーとは、コンピューターが人間を模倣して Web サイトに自動的にアクセスできるようにするコードを作成することです。
2. クローラーの役割
クローラーは、人々に代わってインターネット上のデータ情報を自動的に収集および整理できます。
たとえば、建国記念日中の麗江の旅館の価格をクロールできます。
たとえば、チケットを取得したり、写真、ドキュメント、ビデオなどをバッチでダウンロードしたりできます。
3. クローラーステップ
【クローラーは通常3段階に分かれます】
-
ウェブページを取得する
-
Webページを解析する
-
データの保存
1-1
【述べる】
写真は「Fengbian Programming」からのものです。
3.1 Web ページを取得する
ウェブページの取得とは、ウェブページの情報を取得することを意味します。
Web クローラー技術では、ここで取得されるのは Web ページのソース コードです。
3.2 Web ページを解析する
Web ページの解析とは、Web ページのソース コードから必要なデータを抽出することを指します。
Web ページの構造には特定のルールがあるため、Python のいくつかのサードパーティ ライブラリを使用して Web ページのデータを効率的に抽出できます。
Web ページの解析とは、Web ページのソース コードから特定の方法で必要なデータを抽出することです。
これらのデータは、ビデオへのリンク、画像のダウンロード アドレス、ファイルのタイトルなどです。
3.3 データの保存
データの保存とは、取得したデータを何らかの形式（テキスト、写真、動画など）で保存することを意味します。
ストレージは実際には書き込みと保存のプロセスです。
抽出したデータをcsv、Word、Excel、データベースに書き込むか、フォルダーなどに保存します。
4. まとめ
やっと：
[クローラーを学びたい人のために、Python 学習教材をたくさんまとめて CSDN 公式にアップロードしました。必要な友達は以下の QR コードをスキャンして入手してください]
1. 研究概要
2. 開発ツール
3. Python基礎資料
4. 実践データ
