ビルドに環境.pyspider爬虫類

建ての1、SH

 1.1、そしてPythonの使用のバージョンを確認するためにPATH環境変数を設定することで、同じようにJDKを切り替えることができるようです

2、アカウントを実行しています:

 初めに、このような2.1、そこPython37x64環境変数:

C:\プログラムファイル(x86の)\ CommonのFiles \オラクル\のJava \ javapath; C:\プログラムファイル\ NVIDIA GPUコンピューティング・ツールキット\ CUDA \ 10.1 \ binに; C:\プログラムファイル\ NVIDIA GPUコンピューティング・ツールキット\ CUDA \ 10.1 \ libnvvp; C:\プログラムファイル\ Python37 \スクリプト\; C:\プログラムファイル\ Python37 \; C:\ WINDOWS \ SYSTEM32; C:\ Windowsの; C:\ WINDOWS \ SYSTEM32 \ WBEM; C:\ WINDOWS \ System32に\ WindowsPowerShell \ v1.0を\; C:\プログラムファイル\ DOTNET \; C:\ Program Files \ MicrosoftのSQLサーバ\ 130の\ツール\ Binnの\; C:\プログラムファイル(x86の)\ Microsoft SQL Serverの\ 100の\ツール\ Binnの\; C:\ Program Files \ MicrosoftのSQLサーバ\ 100の\ツール\ Binnの\; C:\ Program Files \ MicrosoftのSQLサーバ\ 100 \ DTS \ Binnの\; C:\プログラムファイル(x86の)\ Microsoft SQL Serverの\ 100の\ツール\ Binnの\ VSShell \ Common7 \ IDE \; C:\プログラムファイル(x86の)\のMicrosoft Visual Studioの9.0 \ Common7 \ IDE \ PrivateAssemblies \; C:\プログラムファイル(x86の)\ Microsoft SQL Serverの\ 100 \ DTS \ Binnの\; C:\プログラムファイル\ TortoiseSVNの\ binに; C:\プログラムファイル(x86の)\ Microsoft SQL Serverの\クライアントSDK \ ODBC \ 130の\ツール\ Binnの\; C:\プログラムファイル(x86の)\ Microsoft SQL Serverの\ 140の\ツール\ Binnの\; C:\プログラムファイル(x86の)\ Microsoft SQL Serverの\ 140 \ DTS \ Binnの\; C:\プログラムファイル(x86の)\ Microsoft SQL Serverの\ 140の\ツール\ Binnの\ ManagementStudio \; C:\プログラムファイル\のGit \ CMD; C:\プログラムファイル\ NVIDIAコーポレーション\ Nsight計算2019.3.0 \; C:\プログラムファイル(x86の)\ NVIDIAコーポレーション\ PhysXの\共通; C:\プログラムファイル\ NVIDIAコーポレーション\ NVIDIA NvDLISR; G:\ \ NVIDIA cuda_win7 \ binに、D: \プログラムファイル(x86の)\ MATLAB \ R2015b \ランタイム\ win32の; D:\プログラムファイル(x86の)\ MATLAB \ R2015b \ binに、D:\プログラムファイル(x86の)\ MATLAB \ R2015b \ polyspace \ binに; C:\プログラムファイル(x86の)\ MATLAB \ MATLABランタイム\ V90 \ランタイム\ win32の; D:\ OpenCV_something \ OpenCVの-3.4.6-vc14_vc15 \ビルド\ x86_zz \リリース\ vc14 \ binに、D:\プログラムファイル\ nodejs \; C :\ Program Files \ MicrosoftのSQLサーバ\ 120の\ツール\ Binnの\\ Program Files \ Microsoft SQL Serverの\ 120 \ツール\ Binnの\

  このような行の後の行:

C:\プログラムファイル(x86の)\ CommonのFiles \オラクル\のJava \ javapathの
C:\プログラムファイル\ NVIDIA GPUコンピューティング・ツールキット\ CUDA \ 10.1 \ビン
C:\プログラムファイル\ NVIDIA GPUコンピューティング・ツールキット\ CUDA \ V10。 libnvvp 1 \ 
C:\プログラムファイル\ Python37 \スクリプト\ 
C:\プログラムファイル\ Python37 \ 
C:\ WINDOWS \ system32に
C:\ Windowsの
C:\ WINDOWS \ SYSTEM32 \ WBEM 
C:\ WINDOWS \ System32に\ WindowsPowerShell \ V1。 0 \ 
C:\プログラムファイル\ DOTNET \ 
C:\ Program Files \ MicrosoftのSQLサーバ\ 130の\ツール\ Binnの\ 
C:\プログラムファイル(x86の)\ Microsoft SQL Serverの\ 100の\ツール\ Binnの\ 
C:\プログラムファイル\ Microsoft SQL Serverの\ 100の\ツール\ Binnの\  
C:\ Program Files \ MicrosoftのSQLサーバ\ 100 \ DTS \ Binnの\
C:\プログラムファイル(x86の)\ Microsoft SQL Serverの\ 100の\ツール\ Binnの\ VSShell \ Common7 \ IDE \
C:\プログラムファイル(x86の)\のMicrosoft Visual Studioの9.0 \ Common7 \ IDE \ PrivateAssemblies \ 
C:\プログラムファイル(x86の)\ Microsoft SQL Serverの\ 100 \ DTS \ Binnの\ 
C:\プログラムファイル\ TortoiseSVNの\ binに
C: \プログラムファイル(x86の)\ Microsoft SQL Serverの\クライアントSDK \ ODBC \ 130の\ツール\ Binnの\ 
C:\プログラムファイル(x86の)\ Microsoft SQL Serverの\ 140の\ツール\ Binnの\ 
C:\プログラムファイル(x86の)\ Microsoft SQL Serverの\ 140 \ DTS \ Binnの\ 
C:\プログラムファイル(x86の)\ Microsoft SQL Serverの\ 140の\ツール\ Binnの\ ManagementStudio \ 
C:\プログラムファイル\ Gitの\は、cmdを
C:\プログラムファイル\ NVIDIAコーポレーション\ Nsightを計算2019.3.0 \  
C:\プログラムファイル(x86の)\ NVIDIAコーポレーション\ PhysXの\共通
C:\プログラムファイル\ NVIDIAコーポレーション\ NVIDIA NvDLISR 
G:\ \ NVIDIA cuda_win7 \ binに
D:\プログラムファイル(x86の)\ MATLAB \ R2015b \ランタイム\ win32の
D:\プログラムファイル(x86の)\ MATLAB \ R2015b \ binに
D:\プログラムファイル(x86の)\ MATLAB \ R2015b \ polyspace \ binに
C:\プログラムファイル(x86の)\ MATLAB \ MATLABランタイム\ V90 \ランタイム\ win32の
D :\ OpenCV_something \ OpenCVの-3.4.6-vc14_vc15 \ビルド\ x86_zz \リリース\ vc14 \ binに
D:\プログラムファイル\ nodejs \ 
C:\ Program Files \ MicrosoftのSQLサーバ\ 120の\ツール\ Binnの\

  ZC:2に関連する発見、とPythonます。 "C:\ Program Files \ Python37 \スクリプト\"、 "C:\プログラムファイル\ Python37 \"

 

  以下のためにこれらの2つの環境変数を取り除きます:

C:\プログラムファイル(x86の)\ CommonのFiles \オラクル\のJava \ javapath; C:\プログラムファイル\ NVIDIA GPUコンピューティング・ツールキット\ CUDA \ 10.1 \ binに; C:\プログラムファイル\ NVIDIA GPUコンピューティング・ツールキット\ CUDA \ 10.1 \ libnvvp; C:\ WINDOWS \ SYSTEM32; C:\ Windowsの; C:\ WINDOWS \ SYSTEM32 \ WBEM; C:\ WINDOWS \ System32に\ WindowsPowerShell \ v1.0を\; C:\プログラムファイル\ DOTNET \; C:\ Program Files \ MicrosoftのSQLサーバ\ 130の\ツール\ Binnの\; C:\プログラムファイル(x86の)\ Microsoft SQL Serverの\ 100の\ツール\ Binnの\; C:\ Program Files \ MicrosoftのSQLサーバ\ 100 \ツール\ Binnの\; C:\ Program Files \ MicrosoftのSQLサーバ\ 100 \ DTS \ Binnの\; C:\プログラムファイル(x86の)\ Microsoft SQL Serverの\ 100の\ツール\ Binnの\ VSShell \ Common7 \ IDE \; C:\プログラムファイル(x86の)\のMicrosoft Visual Studioの9.0 \ Common7 \ IDE \ PrivateAssemblies \; C:\プログラムファイル(x86の)\ Microsoft SQL Serverの\ 100 \ DTS \ Binnの\; C:\プログラムファイル\ TortoiseSVNの\ binに; C: \プログラムファイル(x86の)\ Microsoft SQL Serverの\クライアントSDK \ ODBC \ 130の\ツール\ Binnの\; C:\プログラムファイル(x86の)\ Microsoft SQL Serverの\ 140の\ツール\ Binnの\; C:\プログラムファイル(x86の)\ Microsoft SQL Serverの\ 140 \ DTS \ Binnの\; C:\プログラムファイル(x86の)\ Microsoft SQL Serverの\ 140の\ツール\ Binnの\ ManagementStudio \; C:\プログラムファイル\ Gitの\は、cmdを、C:\プログラムファイル\ NVIDIAコーポレーション\ Nsight計算2019.3.0 \; C:\プログラムファイル(x86の)\ NVIDIAコーポレーション\ PhysXの\共通; C:\プログラムファイル\ NVIDIAコーポレーション\ NVIDIA NvDLISR; G:\ \ NVIDIA cuda_win7 \ binに、D:\プログラムファイル(x86の)\ MATLAB \ R2015b \ランタイム\ win32の; D:\プログラムファイル(x86の)\ MATLAB \ R2015b \ binに、D:\プログラムファイル(x86の)\ MATLAB \ R2015b \ polyspace \ binに; C:\プログラムファイル(x86の)\ MATLAB \ MATLABランタイム\ V90 \ランタイム\ win32の; D:\ OpenCV_something \ OpenCVの-3.4 0.6-vc14_vc15 \ビルド\ x86_zz \リリース\ vc14 \ binに、D:\プログラムファイル\ nodejs \; C:\ Program Files \ MicrosoftのSQLサーバ\ 120の\ツール\ Binnの\;\プログラムファイル(x86の)\ Microsoft SQL Serverの\ 140 \ DTS \ Binnの\; C:\プログラムファイル(x86の)\ Microsoft SQL Serverの\ 140の\ツール\ Binnの\ ManagementStudio \; C:\プログラムファイル\のGit \ cmdを。 C:\プログラムファイル\ NVIDIAコーポレーション\ Nsight計算2019.3.0 \; C:\プログラムファイル(x86の)\ NVIDIAコーポレーション\ PhysXの\共通; C:\プログラムファイル\ NVIDIAコーポレーション\ NVIDIA NvDLISR; G:\ \ NVIDIA cuda_win7 \ binに; D:\プログラムファイル(x86の)\ MATLAB \ R2015b \ランタイム\ win32の; D:\プログラムファイル(x86の)\ MATLAB \ R2015b \ binに、D:\プログラムファイル(x86の)\ MATLAB \ R2015b \ polyspace \ビン; C:\プログラムファイル(x86の)\ MATLAB \ MATLABランタイム\ V90 \ランタイム\ win32の; D:\ OpenCV_something \ OpenCVの-3.4.6-vc14_vc15 \ビルド\ x86_zz \リリース\ vc14 \ binに、D:\プログラムファイル\ nodejs \; C:\ Program Files \ MicrosoftのSQLサーバ\ 120の\ツール\ Binnの\;\プログラムファイル(x86の)\ Microsoft SQL Serverの\ 140 \ DTS \ Binnの\; C:\プログラムファイル(x86の)\ Microsoft SQL Serverの\ 140の\ツール\ Binnの\ ManagementStudio \; C:\プログラムファイル\のGit \ cmdを。 C:\プログラムファイル\ NVIDIAコーポレーション\ Nsight計算2019.3.0 \; C:\プログラムファイル(x86の)\ NVIDIAコーポレーション\ PhysXの\共通; C:\プログラムファイル\ NVIDIAコーポレーション\ NVIDIA NvDLISR; G:\ \ NVIDIA cuda_win7 \ binに; D:\プログラムファイル(x86の)\ MATLAB \ R2015b \ランタイム\ win32の; D:\プログラムファイル(x86の)\ MATLAB \ R2015b \ binに、D:\プログラムファイル(x86の)\ MATLAB \ R2015b \ polyspace \ビン; C:\プログラムファイル(x86の)\ MATLAB \ MATLABランタイム\ V90 \ランタイム\ win32の; D:\ OpenCV_something \ OpenCVの-3.4.6-vc14_vc15 \ビルド\ x86_zz \リリース\ vc14 \ binに、D:\プログラムファイル\ nodejs \; C:\ Program Files \ MicrosoftのSQLサーバ\ 120の\ツール\ Binnの\;\プログラムファイル\ NVIDIAコーポレーション\ Nsight計算2019.3.0 \; C:\プログラムファイル(x86の)\ NVIDIAコーポレーション\ PhysXの\共通; C:\プログラムファイル\ NVIDIAコーポレーション\ NVIDIA NvDLISR; G:\ \ NVIDIA cuda_win7 \ binに; D:\プログラムファイル(x86の)\ MATLAB \ R2015b \ランタイム\ win32の; D:\プログラムファイル(x86の)\ MATLAB \ R2015b \ binに、D:\プログラムファイル(x86の)\ MATLAB \ R2015b \ polyspace \ binに。 C:\プログラムファイル(x86の)\ MATLAB \ MATLABランタイム\ V90 \ランタイム\ win32の; D:\ OpenCV_something \ OpenCVの-3.4.6-vc14_vc15 \ビルド\ x86_zz \リリース\ vc14 \ binに、D:\プログラムファイル\ nodejs \; C:\ Program Files \ MicrosoftのSQLサーバ\ 120の\ツール\ Binnの\;\プログラムファイル\ NVIDIAコーポレーション\ Nsight計算2019.3.0 \; C:\プログラムファイル(x86の)\ NVIDIAコーポレーション\ PhysXの\共通; C:\プログラムファイル\ NVIDIAコーポレーション\ NVIDIA NvDLISR; G:\ \ NVIDIA cuda_win7 \ binに; D:\プログラムファイル(x86の)\ MATLAB \ R2015b \ランタイム\ win32の; D:\プログラムファイル(x86の)\ MATLAB \ R2015b \ binに、D:\プログラムファイル(x86の)\ MATLAB \ R2015b \ polyspace \ binに。 C:\プログラムファイル(x86の)\ MATLAB \ MATLABランタイム\ V90 \ランタイム\ win32の; D:\ OpenCV_something \ OpenCVの-3.4.6-vc14_vc15 \ビルド\ x86_zz \リリース\ vc14 \ binに、D:\プログラムファイル\ nodejs \; C:\ Program Files \ MicrosoftのSQLサーバ\ 120の\ツール\ Binnの\;\プログラムファイル(x86の)\ MATLAB \ MATLABランタイム\ V90 \ランタイム\ win32の; D:\ OpenCV_something \ OpenCVの-3.4.6-vc14_vc15 \ビルド\ x86_zz \リリース\ vc14 \ binに、D:\プログラムファイル\ nodejs \; C:\ Program Files \ MicrosoftのSQLサーバ\ 120の\ツール\ Binnの\;\プログラムファイル(x86の)\ MATLAB \ MATLABランタイム\ V90 \ランタイム\ win32の; D:\ OpenCV_something \ OpenCVの-3.4.6-vc14_vc15 \ビルド\ x86_zz \リリース\ vc14 \ binに、D:\プログラムファイル\ nodejs \; C:\ Program Files \ MicrosoftのSQLサーバ\ 120の\ツール\ Binnの\;

 

 その後のpython-3.5.4.exeインストール(これはインストールパッケージ32である)
 インストール後は、一見、自動的にのpython-3.5.4.exeパスを追加していない、と自動的にpycurlが含まれていません...

 CMDは、手動で追加します。

セットパス=%パス%; "D:\ Pythonの\ Python35-32 \スクリプト\"; "D:\ Pythonの\ Python35-32 \"

 

 PS:以下WHL、である  https://www.lfd.uci.edu/~gohlke/pythonlibs/#pycurl  ダウンロード内

 

 pycurlを手動でインストールします。
  PIPはpycurlインストール
  エラー:コマンド"のpython setup.py egg_info"が失敗した Cでエラーコード10で:\ Users \ユーザーADMINI〜1 \のAppData \ローカル\一時\ PIP-ビルドmpbd0qzyを\ pycurl \
  発言を確認他の二つのものをインストールすることではなく、インストールされますが成功しない場合、ダウンロードpycurl-7.43.0.3-CP27-cp27m- win32.whl( ダウンロードはありhttps://www.lfd.uci.edu/~gohlke/pythonlibs/ #pycurl)、その後、
  (この記事を参照してくださいピップpycurlエラーインストール:コマンドのpython setup.py egg_info_から完全な出力を指定してください--curl-DIR = _path_to_built_libcurl - 流血&鄭ガウン-ブログパークの.html [ " HTTPS:// WWWを.cnblogs.com / xueranzp / P / 5010656.html「])
  PIPホイールインストール
  PIPインストールD:\ IDE \ Pythonの\ -7.43.0.3 pycurl-CP27-cp27m-win32.whl
  エラー:「pycurl-7.43.0.3-cp27- 。cp27m-win32.whlはこのプラットフォームではサポートされホイールではありません」 チェックのPythonのバージョンに対応するには、私がここに持っていることがPython3.5.4で、∴対応はpycurl-7.43です。 cp35m --- cp35 0.3 win32.whl
  PIPインストールD:\ IDE \ Pythonの\ -7.43.0.3 pycurl-cp35-cp35m-win32.whl
  PIP pycurlインストール
  ZC:pycurlをインストールします

 

 PS:(最終的には、pycurlとは異なり、「ピップはpycurlをインストールする」)ここではいくつかのWHLがインストールされています唯一の「ピップxxxxx.whlをインストールする」を実行し、「ピップはXXXXXをインストールする」を実行していませんでした

 

 参考pyspider PIPインストール:Windowsのインストールpyspider -シャオは木立の建物を人里離れ-ブログパークの.html(https://www.cnblogs.com/woods1815/p/9637856.html
  がインストールされていない、いくつかの依存関係をダウンロードし、またはそれにすることはできませんhttps://www.lfd.uci.edu/~gohlke/pythonlibs/#pycurlダウンロードへ

pyspiderを収集
キャッシュさhttps://files.pythonhosted.org/packages/d0/97/d6062c928f53d899ff2a8538fed11d4d425ba3d使用
27c96248a2c601c1c9fef / pyspiderを-0.3.10.tar.gz 
収集フラスコ(pyspiderから)> = 0.10 
ダウンロードHTTPS://files.pythonhosted。 ORG /パッケージ/ 9bは/ 93 / 628509b8d5dc749656a9641f4caf13540e2cdec8 
5276964ff8f43bbb1d3b /フラスコ-1.1.1-py2.py3-なし- any.whl(94KB)
86%|██████████████████ █████████▊| 81KB 5.4kB / sのETA 0:00:03Excep
C:\ Users \ユーザー管理> PIPがDにインストール:\ IDE \ Pythonの\フラスコ-1.1.1-py2.py3-なし- any.whl 
処理D:\ IDE \のpython \フラスコ-1.1.1-py2.py3-なしに-any.whl 
収集WERKZEUG> = 0.15(1.1.1 ==フラスコから)
キャッシュエントリ逆シリアル化に失敗し、エントリは無視
ダウンロードhttps://files.pythonhosted.org/packages/ce/42/3aeda98f96e85fd26180534d36570e4d18108d62 
ae36f87694b476b83d6f / WERKZEUG-0.16.0 -py2.py3-なし- any.whl(327kB)
37%|████████████| 122KB 3.7kB / sのETA 0:00:56Exception:

  D PIPインストール:\ IDE \ Pythonの \ WERKZEUG-0.16.0-py2.py3-なし-any.whlを
  、その後、順番に、まで"ピップpyspiderをインストールします"

C:\ Users \ユーザー管理者>ピップはpyspiderをインストール
pyspider収集
使用してキャッシュhttps://files.pythonhosted.org/packages/d0/97/d6062c928f53d899ff2a8538fed11d4d425ba3d 
27c96248a2c601c1c9fef / pyspider-0.3.10.tar.gzの
フラスコ> = 0.10:要件はすでに満たされdは:\ pythonの\ python35-32 \ libに\のsite-packages(pyspiderから
すでに満足要件:dはJinja2の> = 2.7:(pyspiderから\パイソン\ python35-32 \ libに\のsite-packages 
chardet> =の収集2.2(pyspiderから)
キャッシュエントリのデシリアライズに失敗した、エントリー無視
キャッシュエントリのデシリアライズに失敗し、エントリ無視
ダウンロードhttps://files.pythonhosted.org/packages/bc/a9/01ffebfb562e4274b6487b4bb1ddec7ca55ec751 
0b22e4c51f14098443b8 / chardet-3.0.4-py2.py3-なし-any.whlを(133KB)
7%|██▌| 10kB 2.0kB / sのETA 0:01:03Exception:

  ピップDをインストール:\ IDE \ Pythonの\ chardet-3.0.4-py2.py3-なし- any.whlの
  ピップは、Dをインストール:\ IDE \ Pythonの\ cssselect-1.1.0-py2.py3-なし- any.whl

 

 pyspiderすべてが
  警告されて:[413 200108夜01時46分23秒実行がW見つからないphantomjs、それなしに実行を継続]。
  エラーが表示されます。

ValueError:無効な設定:
-非推奨オプション「ドメインコントローラ」:使用「http_authenticator.domain_controller」の代わりに。

  抽出phantomjs-2.1.1-windows.zip、GET phantomjs.exe後、Pythonのルートディレクトリにコピーphantomjs.exe(私はここにあるが、パスは "D:\ Pythonの\ Python35-32 \" で)

  phantomjs.exeはまだ与えられた後、片付け:

非推奨オプション「ドメインコントローラ」:使用「http_authenticator.domain_controller」の代わりに

  解決:(ValueError_無効のCONFIGURATION_ -非推奨オプション domaincontroller_使用http_authenticator_qq_37253540 -CSDNが.htmlのブログブログ[ https://blog.csdn.net/qq_37253540/article/details/88196994 ])

  すべてのコマンドpyspider爬虫類のフレームワークpyspider、使用をインストールした後、入力します。http:// localhostを:5000ランが登場し、上記のエラー
  の理由ですWsgiDAVリリースされたバージョンのプレリリース3.xの理由 
  :ソリューションとして、以下のある
   インストールパッケージにpyspiderリソースパッケージを見つけ、その後、webdav.py WebUIのファイル内のファイルを見つけ開かれ、あなたが最初の209行を変更することができます。
   'ドメインコントローラ':NeedAuthController(APP) 、
   のように変更:
   'http_authenticator' { 
    'HTTPAuthenticator':NeedAuthController(APP)、
   }、
  // localhostを:ページを開くために、5000と、その後は、すべてのHTTP pyspiderによって行うことができます。

 

 ZC:一見「pyspiderすべて」すべては運次第で実行?前のアップを実行し、プロセスの終了を強制しませんでしたpython.exe&pyspider.exe&phantomjs.exe(他のプロセスが手動で...取り除くために必要はありません知りません)し、再度一見何も良いが、エラーなしには、その後、何度も繰り返しプロセスを強制終了しませんこの操作は、[OK]を数回を持っている...(pyspider「ダッシュボード」インタフェースが出てきました)

3、

4、

5、

おすすめ

転載: www.cnblogs.com/pythonzc/p/12166546.html