scrapyの使用 - 要求

Requestオブジェクトは、我々は、は虫類、と呼ばれる再送信要求への必要性をクロールデータを書き込みます。このクラスは、いくつかのパラメータを渡す必要があります。より一般的に使用されるパラメータは次のとおりです。

URL要求されたオブジェクトの1.url

コールバックを行っ対応するデータをダウンロードした後2.callback-ダウンロード

3.method要求モードは、デフォルトはGETメソッドであり、他の方法が提供されてもよいです

4.meta一般に異なる要求間の初期値.Request.meta特性のデータを転送するために使用されます。考えると、このパラメータには、辞書の浅いコピーを渡されます。

コーディング5.encoding。デフォルトでは、UTF-8、その上にデフォルトです。

スケジューリング手段フィルタなし6.dot_filter、それはより多くの再三の要求の実装で使用されています。

7.cookie要求クッキー。

8. エラーバックの    エラーが発生した実行機能。

開発者は、Responseオブジェクトを作成しますが、どのようにそれを使用する方法を心配する必要はありませんので、あなたは、一般的にScrapyに持ってResponseオブジェクトは自動的に、ビルドし、Responseオブジェクトは、主に財産について、オープンデータを使用して抽出することができ、多くのプロパティがあります。

メタ属性からの他の要求の上を通過1.meta複数の要求の間のデータ接続を維持するために使用することができます。

フォーマットをエンコードとデコード2.encoding現在の文字列を返します。

3.textデータは、Unicode文字列に戻されます。

4.xpathのXPathのセレクタ。

5.css CSSセレクタ。

データに戻ります6.bodyは、文字列としてバイト。

7.status HTTPステータス応答。デフォルトは200です。

属性のリストResponse.flags 8.flagsは初期値が含まれています。与えられたリストは浅いコピーとなります場合は

Response.request 9.requestプロパティの初期値。これは、この応答を生成するリクエストを表します。

おすすめ

転載: www.cnblogs.com/superSmall/p/12063968.html