安装及排错 - pyspider(持续更新)

• 安装pyspider

  $ sudo apt-get install pyspider

• 测试是否成功

  $ pyspider

  出现以下界面为成功

  phantomjs fetcher running on port 25555
  [I 200312 16:20:26 result_worker:49] result_worker starting...
  [I 200312 16:20:26 tornado_fetcher:638] fetcher starting...
  [I 200312 16:20:26 processor:211] processor starting...
  [I 200312 16:20:26 scheduler:647] scheduler starting...
  [I 200312 16:20:27 scheduler:782] scheduler.xmlrpc listening on 127.0.0.1:23333
  [I 200312 16:20:27 scheduler:586] in 5m: new:0,success:0,retry:0,failed:0
  [I 200312 16:20:27 app:76] webui running on 0.0.0.0:5000

• 错误类型总结及处理

  • WsgiDAV发布版本语法不兼容错误

    • 提示

    ValueError: Invalid configuration:
      - Deprecated option 'domaincontroller': use 'http_authenticator.domain_controller' instead.
    Error: Could not create web server listening on port 25555

    • 解决

    # 打开对应文件
    $ sudo vim/usr/local/lib/python3.5/dist-packages/pyspider/webui/webdav.py
    # 修改文件，209行左右
    'domaincontroller': NeedAuthController(app),
    改为
    'http_authenticator':{
           'HTTPAuthenticator':NeedAuthController(app),
        },
    # 保存退出

  • Werkzeug版本过高

    • 提示

    ImportError: cannot import name 'DispatcherMiddleware'

    • 解决

    # 卸载原来版本
    $sudo pip uninstall werkzeug -y 
    # 安装0.16.1版本
    $sudo pip install werkzeug==0.16.1

  • 端口占用

    • 提示

    Error: Could not create web server listening on port 25555

    • 解决

    # 查看占用端口进程
    $lsof -i:端口号
    # 结束进程
    $kill 进程PID号