El programa de demostración de pyspark crea un contexto de chispa, pero aún ocurre un error. El error completo es el siguiente:
sc = SparkContext(“local”, “Ejemplo de ID de partición”) Archivo
“C:\ProgramData\anaconda3\envs\python36\lib\site-packages\pyspark\context.py”,
línea 133, en init SparkContext._ensure_initialized(self ,
gateway=gateway, conf=conf) Archivo
“C:\ProgramData\anaconda3\envs\python36\lib\site-packages\pyspark\context.py”,
línea 316, en _ensure_initialized SparkContext._gateway = gateway o
launch_gateway(conf) Archivo
“C:\ProgramData\anaconda3\envs\python36\lib\site-packages\pyspark\java_gateway.py”,
línea 46, en launch_gateway devuelve _launch_gateway(conf) Archivo
“C:\ProgramData\anaconda3\envs\python36\lib \site-packages\pyspark\java_gateway.py”,
línea 101, en _launch_gateway proc = Popen(comando, stdin=PIPE,
env=env) Archivo
“C:\ProgramData\anaconda3\envs\python36\lib\subprocess.py”, línea 729,
en init recovery_signals, start_new_session) Archivo
“C:\ProgramData\anaconda3\envs\python36\lib\subprocess. py", línea 1017,
en _execute_child startupinfo) FileNotFoundError: [WinError 2]
El sistema no puede encontrar el archivo especificado.
Entorno: python3.6+pyspark==2.4.5
utiliza el entorno creado por anaconda.
Solución: coloque la ruta de instalación de anaconda en la variable de entorno del sistema PATH.
Fenómeno: después de que conda active el entorno en la ventana de línea de comando de conda, vaya al directorio donde se encuentra el archivo py y ejecute python.py para que se ejecute normalmente, y ejecute pyspark.cmd en el contenedor del paquete donde se encuentra pyspark, y es normal. Se puede ejecutar en pycharm pero se informa el error anterior. Solo significa que los dos entornos son inconsistentes. Probé la solución anterior y tuve éxito.