iniciar la instalación
pip install pyspider
Pregunta 1:
Command "python setup.py egg_info" failed with error code 1 in /tmp/pip-build-vXo1W3/pycurl
Solución
1. Primero instale la biblioteca curl, busque la versión de curl correspondiente a su computadora con Ctrl + F en pycurl y descárguela.
2. Instale el archivo descargado anteriormente y ejecútelo en cmd. El comando es:
pip install pycurl-7.43.1-cp37-cp37m-win_amd64.whl
Verificar
en cmd
pyspider all
Problema 2 problema de
palabra clave asíncrona,
Resolver:
Windows 10, instalar pyspider, python3.7 con éxito, pero no se puede iniciar la solución pyspider del
paquete estándar pyspider en el sitio
(1) Fetcher / tornado_fetcher.py
(2) run.py
(3) weibu / app .py
tres Reemplazar todos los async en el elemento con tiburón
Métodos de reemplazo específicos (dos):
1. notepad ++ primero use Ctr + F para encontrar async, luego haga clic en reemplazar, all async-> shark en este archivo
2. Use idea para seleccionar directamente de la ruta para reemplazar la
operación específica: intellij idea Global encontrar y reemplazar
Pregunta 3
ValueError: Invalid configuration: - Deprecated option 'domaincontroller': use 'http_authenticator
resolver:
ValueError: Invalid configuration: - Deprecated option ‘domaincontroller’: use 'http_authenticator
resultado final
Nota: Al
principio, cuando no se instaló phantomjs, solo aparecieron las dos primeras líneas del resultado anterior, es decir
d:\program files\lib\site-packages\pyspider\libs\utils.py:196: FutureWarning: timeout is not supported on your platform.
warnings.warn("timeout is not supported on your platform.", FutureWarning)
[I 190409 20:28:52 result_worker:49] result_worker starting...
Otros no se muestran Finalmente, instalé phantomjs de acuerdo con el tutorial en línea y obtuve muchos resultados.
La instalación de phantomjs
no se puede descargar en el sitio web oficial. Descargue en phantomjs
y coloque phantomjs.exe en el mismo directorio de archivos que python.exe
También preste atención a
agregar D: \ Software \ phantomjs-2.1.1-windows \ bin a la variable de entorno
Solo aparecen dos líneas de contenido en pyspider
Solución:
Inicie el buscador solo y siempre muestre el inicio del buscador ...
Operaciones específicas:
pip install redis
Ideas
para resolver el problema. Solía aprender sobre rastreadores en el sitio web oficial de Cui Qingcai. En primer lugar, instalé una gran cantidad de software y paquetes sobre rastreadores. Recuerda que cuando estaba estudiando, por algunas razones de la red (no poder acceder a Internet, instalar algún paquete de software o paquetes), los anteriores no estaban instalados. Entonces, después de leer la página web relevante, volví para ver que la instalación de redis era anterior a pyspider, intenté instalarlo y resultó ser
