論理的思考の爬虫類を書きます

まず、()クラスを定義し、論理的アプローチの実行を定義するために、次のアイデアを書き込み、その後、再度、対応するメソッドを呼び出す各ステップの各方法、run()メソッドのために小さなステップにより完了しました。

1.url

  • リスト構造のURLアドレス:私たちは、法律やページのURLアドレス奨め番号を知っています
  • START_URL、最初にアクセスしたURL、その後、いくつかの他の法律の反復に従ってください

2.送信要求取得応答

  • requests.get()
  • response.content.decode()

3.抽出データ

  • これは、JSON文字列を返します:JSONモジュール
  • 抽出されたデータのXPathとlxmlのモジュール:HTMLは文字列を返します。

4.保存

(オープンと" 文件名"" A "エンコード= " UTF-8 " :Fなど)
    )(f.write

 

おすすめ

転載: www.cnblogs.com/-chenxs/p/11415757.html