リクエストとレスポンスのオブジェクトでscrapy

はじめに：

　　ヒトの様々な器官で作られているよりもフレーム・コンポーネントがあれば、その要求と応答が血液である、項目代謝産物であります

Requestオブジェクト：

　　パラメータで設定されたHTTPリクエストを記述するために使用されます

URL
1. URLリクエスト
折り返し電話
1. コールバック関数
方法
1. デフォルトはGETです
ヘッダ
1. 辞書の種類
体
クッキー
1. 辞書の種類
メタ
1. メッセージをフレームに使用されるメタデータ辞書、辞書の種類は、そのようなミドルウェアITEN、パイプラインなどの他のコンポーネントに送信される要求。他のコンポーネントは、メタデータディクショナリのオブジェクトパラメータにアクセスするにはメタ属性要求を使用することができます
エンコーディング
優先
1. デフォルトの要求優先順位が最も高い優先度は、優先順位のダウンロードを与えられます、0であります
dont_filter
1. デフォルトはFalseで、ダウンロードタスクは（複製リソースを避けるために）再フィルタを直接フィルタリングするために要求の後ろになり、同じURLアドレス、数回の要求を提出します。このパラメータがTrueの場合は、フィルタ処理されないようにする要求を行うことができます。ダウンロードを強制するには。
エラーバック
1. ときに異常またはHTTPリクエストのエラーコールバック関数

　　そこが多くのパラメータがありますが、その他の事故のurlパラメータに加えて、デフォルト値で、省略可能です。Requestオブジェクトを構築する際、通常我々が唯一のurlパラメータとコールバックパラメータを渡す必要があり、他はデフォルト値であることを直接使用することができます

Responseオブジェクト：

　　HTTPは、対応を記述するために使用され、応答は、単にベースクラスであり、そこTextResponse、HTmlResponse、XmlResponseそれぞれの内容によって

　　ページのダウンロードが完了すると、ダウンローダは、レスポンスのContent-Typeヘッダ情報に基づいてHTTPレスポンスのサブクラスのオブジェクトを作成します。私たちはHTMLファイル内の通常のクロールコンテンツページは、すべてのことがHtmlResponse、HtmlResponseとXmlResponseがTextResponseサブクラスで作成されています。実際には、3つのサブクラスのみわずかな違い

　　HtmlResponseオブジェクトの属性とメソッド：

- URL
  - HTTPレスポンスのURLアドレス、STRタイプ
- 状態
  - HTTPレスポンスのステータスコード、int型
- ヘッダ
  - ヘッド、HTTPレスポンスの辞書タイプは、GETまたは方法GETLISTによってアクセスすることができます
- 体
- テキスト
  - HTTPレスポンスの形式でテキスト、STR型は、response.encoding得response.bodyを用いて復号化されます
- エンコーディング
- 要求
  - HTTPレスポンスを生成Requestオブジェクト
- メタ
  - - 要求オブジェクトを構築するときresponse.request.metaは、メタパラメータを介して送信されるコールバック関数パラメータに渡すことができ、応答時間を処理するコールバック関数が値によって行ってもよいresponse.meta
- セレクタ
  - 情報を抽出するための応答
- XPathの
- CSS
- urljoin
  - 記載response.urlは対応する絶対URLを計算するときに、着信URLパラメータは相対アドレスである場合には、絶対URLを構築します

リクエストとレスポンスのオブジェクトでscrapy

おすすめ