Python はスクレイピーを使用してプロジェクトのデモをクロールします (解決済み)

最初のステップは、scrapy をダウンロードして設定することです

このページからコマンド ライン ツールを呼び出します

pip install scrapy -i https://pypi.douban.com/simple

国内のものを直接ミラーリングします。魔法があれば、海外サーバー経由でダウンロードできます。

インストール後、win+rを押し、「cmd」と入力してコマンドラインウィンドウを開いて確認します。

 

 私と同じように説明すれば、準備は完了です ---

次に、プロジェクト ファイルを見つけます。

scrapy startproject 项目名称

次に、ファイルの内部に cd します (プロンプトが表示されます)。

scrapy genspider 爬虫名称 要爬取的限制域

これがすべて完了すると、完成したプロジェクトファイルが得られます

 ここでデモを構成しました

 関数内のファイルが自動的に生成されることを除き、コンテンツをクロールするだけです

import scrapy


class DemoSpider(scrapy.Spider):
    name = "demo"
    allowed_domains = ["xxxx.com"]
    start_urls = ["http://xxxxxx.com"]

    def parse(self, response):
        content = response.text
        with open('eee.html', 'w', encoding='utf-8') as fp:
            fp.write(content)
        # # pass

後ほど更新します、私もPython初心者です、一緒に学びましょう〜さあ〜