ウィンドウ環境でのscrapydのインストールと構成

この記事では、スクレイピー
されたPythonがデフォルトでインストールされ、スクレイピーとしてインストールおよび設定される最も簡単な方法を使用するよう努めています

1. scrapydのインストール1.
Win + rを開いて実行し、cmdを入力してコマンドラインツールを開き、pip3 install scrapydを入力します。ここに画像の説明を挿入
2.コマンドラインツールを使用して、pip3 instal scrapyd-clientを入力します。これは非常に重要です。ここに画像の説明を挿入
3.コマンドラインscrapydを入力し、ブラウザを使用して127.0.0.1:6800を開きます。次の図が表示されれば、インストールは成功しています注:scrapydコマンドウィンドウは最後まで保持する必要があります。ここに画像の説明を挿入
2.クローラープロジェクトを作成します
。1.クローラーディレクトリpaを見つけて開き、Shiftキーを押しながら右マウスボタンを押してPowerShellを開き、コマンドscarpydを入力します。クローラーディレクトリには、クローラープロジェクトのデータファイルを保存するために使用されるもう1つのdbsフォルダーがあります。ここに画像の説明を挿入
2 ...最初にcd scrapy.exeのディレクトリを保存してから、コマンドscrapy startproject(プロジェクト名)を入力します。作成したプロジェクトの名前はpaです。この時点では、このディレクトリにさらにscrapy.cfgがあります。ここに画像の説明を挿入
3.クローラーを構成する
1. Pythonディレクトリに移動し、スクリプトを入力して、scrapyd-deployを見つけます。このファイルはWindowsで直接実行できません。バットファイルとして構成し、新しいtxtファイルを作成する必要があります。内容は
@echo off
"D: \ python \ python.exe "" D:\ python \ Scripts \ scrapyd-deploy "%*
特定のファイルパスを自分で変更する必要があります。
2.クローラープロジェクトディレクトリのscrapy.cfgファイルを開き、コード#のurl行のコメントを外して、デプロイメント名を設定します。
ここに画像の説明を挿入
3.新しいコマンドラインツールで、クローラープロジェクトの独自のディレクトリにcdし、scrapyd-deploy -l(小文字のL)を入力してサービスを開始します。ここに画像の説明を挿入
4.構成ファイルをパッケージ化する前に、コマンド、スクレイピーリストを実行します。このコマンド実行指示はパッケージ化できます。ここに画像の説明を挿入
5.ダウンロードにより、scrapyプロジェクトのscrapydへのパッケージ化を開始できます。
パッケージングコマンドを実行します。scrapyd-deployデプロイメント名-pプロジェクト名
は、図に示すように正常にパッケージ化され
ここに画像の説明を挿入
ています6.これで成功し、127.0.0.1 :6800に移動して実行ステータスを確認できます。

最初にコマンドウィンドウに注意して、scrapydが正常にインストールされたことを確認してください。つまり、scrapydコマンドを入力するためのコマンドウィンドウは常に保持しておく必要があります。そうしないと、127.0.0.1:6800に接続できない状況になります。

オリジナルの記事を6件公開 ・いい ね0 訪問数319

おすすめ

転載: blog.csdn.net/qq_43452745/article/details/87880068
おすすめ