mac安装pyspider遇到的坑

首先说明我是在虚拟环境中安装的,mac环境是清白的,虚拟环境也是新装的;

第一:

--在装虚拟环境的时候就遇到了一个小问题:

workon总是识别不了(我的虚拟环境是virtualenv + virtualenvwrapper),后 来发现没有加入到启动配置中;一开始还以为是virtualenvwrapper没有安装成功或者是系统有毛病,因此是走了很多的弯路;

解决办法:在用户根目录下新建.bash_login文件,在文件内写入:source /usr/local/bin/virtualenvwrapper.sh(virtualenvwrapper是你的可执行文件,前面的是具体的路径,具体命令因人而异,就看你自己安装在什么地方了,在敲这个命令之前最好先去这个目录下看看有没有),保存退出就可以了,以后workon就没毛病了;

第二:

--安装pyspider遇到的毛病;
pyspider需要配合phantomjs用,这也是pyspider一大优点,利用phantomjs任何动态的页面都不怕;首先安装phantomjs没什么问题,随后问题来了:
pip install pyspider 总是给我报错

been able to determine which SSL backend it is using. Please see PycURL documentation for how to specify the SSL backend manually.
Command "python setup.py egg_info" failed with error code 1 in /private/var/folders/07/1lgb5q712pvdm4mx8g_xls3h0000gn/T/pip-install-0pdfay2u/pycurl/

根据报错信息来看是pycurl的问题,于是乎围绕pycurl各种操作,但是无果,这并不是它的问题;真正的问题是在安装pyspider前没有安装lxml,这尼玛才是核心啊,pip install lxml 之后再次安装pyspider
successfully

第三:

建议Windows系统最好不要去尝试,会比mac麻烦多,最容易的还是Linux

第四:狗日的还没完,启动还是报错:

ImportError: pycurl: libcurl link-time ssl backend (openssl) is different from compile-time ssl backend (none/other)

解决方案如下:
1,如果没有安装pip,先安装pip;
2,pip uninstall pycurl 卸载掉之前安装的;
3,执行export PYCURL_SSL_LIBRARY=openssl
4,pip install pycurl 再次安装

第五:

草,还没完:运行接着报错

Error: Could not create web server listening on port 25555

我已经不想说什么了;接着干吧,,,,,,
lsof -i :25555 查询端口号,查到之后,sudo kill -9 25555杀掉进程;
再次启动
!!!!!!哈哈哈哈,还没成功,又是端口占用,address is already in use,草;
继续搞!
万能重启

sudo reboot

done
来张美图


10203810-5f1fead7afd8a89b.png
大功告成

猜你喜欢

转载自blog.csdn.net/weixin_33775572/article/details/87214990