[Web Crawler Notes] クローラーロボットのプロトコル構文の詳細な説明

Robots プロトコルとは、Robots Exclusion Protocol と呼ばれるプロトコルを指します。このプロトコルの主な機能は、Web スパイダーやロボットなどの検索エンジンクローラーに標準のアクセス制御メカニズムを提供し、どのページがクロール可能でどのページがクロールできないかを通知することです。この記事では、クローラーロボットプロトコルの構文を詳細に説明し、関連するコードとケースを示します。

1. ロボットプロトコルの基本構文

Robots プロトコルの基本構文は次のとおりです。

ユーザーエージェント: [ユーザーエージェント名]
Disallow: [クロールされない URL 文字列]

このうち、User-agent は検索エンジンクローラーの名前を指定するために使用され、Disallow は検索エンジンクローラーによるクロールを許可しないページ URL を指定するために使用されます。

たとえば、ロボットプロトコルファイルの例を次に示します。

User-agent: Googlebot
Disallow: /private/
Disallow: /admin/
Disallow: /login/

上記例では、検索エンジンのGooglebot名を指定し、/private/、/admin/、/login/の3ページのクロールを禁止する設定を行っています。

2. ロボットプロトコルの共通パラメータ

ロボットプロトコルには、次のような一般的に使用されるパラメータもいくつかあります。

許可: 検索エンジンクローラーがページ URL にアクセスできるようにします。
サイトマップ: サイトマップの URL を指定します。この URL は、検索エンジンクローラーがサイトをクロールするときに提供されるため、検索エンジンはサイト全体の構造情報を取得できます。
クロール遅延: 検索エンジンクローラーのクロール間隔を秒単位で指定します。

たとえば、ロボットプロトコルファイルの例を次に示します。

User-agent: Googlebot
Disallow: /private/
Disallow: /admin/
Disallow: /login/
Allow: /public/
Sitemap: http://www.example.com/sitemap.xml
Crawl-delay: 10

上の例では、Allow パラメーターを追加して、検索エンジンクローラーが /public/ パスの下のページにアクセスできるようにしました。同時に、サイトマップの URL は http://www.example.com/sitemap.xml として指定され、検索エンジンクローラーの巡回間隔は 10 秒です。

3. ロボットプロトコルの場合

次に、実際のケースを使用して、ロボットプロトコルを使用して検索エンジンクローラーのアクセスを制限する方法を説明します。

電子商取引 Web サイトを作成したいが、検索エンジンクローラーにショッピングカートページをクロールされたくないとします。

まず、Web サイトのルートディレクトリに robots.txt という名前のファイルを作成し、検索エンジンクローラーにクロールさせたくないページ URL を指定する必要があります。サンプルコードは次のとおりです。

User-agent: *
Disallow: /cart/

上記のコードでは、「*」ワイルドカードを使用しています。これは、すべての検索エンジンクローラーに適用できることを意味し、/cart/ パス下のページへのアクセスが許可されないことも指定します。

このようにして、検索エンジンクローラーは、当社 Web サイトにアクセスすると、まずロボットプロトコルファイルを読み取り、プロトコルファイルの内容に基づいてショッピングカートページをクロールするかどうかを決定します。

4. Python はロボットプロトコルを実装します

Python では、urllib ライブラリの robotparser モジュールを使用して、ロボットプロトコルを解析して使用できます。サンプルコードは次のとおりです。

import urllib.robotparser

rp = urllib.robotparser.RobotFileParser()
rp.set_url("http://www.example.com/robots.txt")
rp.read()

if rp.can_fetch("Googlebot", "http://www.example.com/cart/"):
    print("Googlebot is allowed to fetch the content!")
else:
    print("Googlebot is not allowed to fetch the content!")

上記のコードでは、まず RobotFileParser オブジェクトを作成し、Robots プロトコルファイルの URL を指定して、プロトコルファイルの内容を読み取ります。次に、can_fetch() メソッドを使用して、指定された検索エンジンクローラーが指定された URL をクロールできるかどうかを判断します。

要約する

Robots プロトコルは Web サイト管理標準であり、Web サイトのルートディレクトリに robots.txt ファイルを作成することで、検索エンジンクローラーが Web サイトのコンテンツをクロールするためのルールを規定できます。Robots プロトコルはシンプルで分かりやすく、安定した実行効果があり、Web サイト管理者が検索エンジンの最適化を行うための重要なツールです。