pyspiderのインストールプロセスいくつかのピット

図1に示すように、適切にpycurlの対応するバージョンをインストールしません

分析:

Pycurl設置誤差、pycurlライブラリインストール(Pythonインタフェースpycurlは、
マルチプロトコルファイル転送libcurlのライブラリである。urllibはと同様のPythonモジュールは、pycurlは、PythonプログラムからURLによって識別されるオブジェクトを取得するために使用することができます)

ソリューション:

アクセスhttps://www.lfd.uci.edu/~gohlke/pythonlibs/#pycurl、対応するファイルのホイールをダウンロードし、例えば、私は10のWindowsだった
64魏、Pythonの3.6.5は、その後、pycurl-7.43.0.3-cp36-をダウンロードcp36m-win_amd64.whl、
その後、コマンドはpycurl-7.43.0.3-cp36-インストールPIP使用 cp36m-win_amd64.whlをインストールすることができます

 

2、pyspiderプロンプト構文エラーを開始

分析:

非同期キーワードが間違っている見つけるためにプロンプ​​トに従って、非同期キーワード上記py3.7

ソリューション:

別の名前に対応するの.pyファイルの非同期キーワードを交換するように求められたら

Pythonの\ libには\サイト-パッケージ\ pyspider \ run.py
のpython \ libには\サイト-パッケージ\ pyspider \フェッ\ tornado_fetcher.py

 

3、示唆その構成エラー

分析:

問題は、Python、互換性よりフィット感、リードの問題wsgidavバージョン高すぎる可能性がどのバージョンwsgidavを減らすことができる
のPython 2.4.1をインストールwsgidav -m PIP須藤==

ソリューション:

カタログコードpyspider下webui.py線209を変更します。

'ドメインコントローラ':NeedAuthController(APP)、
改为:
'http_authenticator' { 'HTTPAuthenticator':NeedAuthController(APP)}、

 

図4は、右スタートpyspider後、サイトは599 SSLエラーを促していることを要求します

ソリューション:

上述の問題は、機能、validate_certを捕捉する証明書検証無視クロール方法で添加することができる=偽

即:self.crawl( '__ START_URL__'、コールバック= self.index_page  validate_cert =偽)

 

5、および4-似たSSLの問題に

Pyspider  -  HTTP 599:SSL証明書問題:ローカル発行者証明書を取得できません

分析:

明確にエラーがSSL証明書の検証を追加されていない理由を指摘しています。問題のPySpider公式リリース版のため、しかし、たとえvalidate_certに= Falseのは、パラメータをvalidate_certにマッチングされることはありません。現在の最新版は0.3.6ですが、最新バージョンではGitHubのを0.4.0ています。だから、手動でアップデートをダウンロードする必要があります。

ソリューション:

、GitHubには、最新のpyspider、下記のリンクをダウンロード

https://github.com/binux/pyspider

 

第二に、ダウンロードし、解凍しますが、フォルダに次のコマンドを実行します

オープンcmdは、解凍したファイルフォルダにcdには、次のコマンドを実行します。

python setup.pyインストール

 

第三に、再起動のpyspider問題を解決!

おすすめ

転載: www.cnblogs.com/roluodev/p/11780669.html
おすすめ