1. Instalación anormal de pip y git del contenedor acoplable
mensaje de error:
git clone https://github.com/vllm-project/vllm.git
Clonación en 'vllm'...
fatal: no se puede acceder a 'https://github.com/vllm-project/vllm.git/': no se pudo conectar al
puerto 127.0.0.1 10808: conexión rechazada
pip install vllm Buscando
en índices: https://pypi.org/simple, https://pypi.ngc.nvidia.com
ADVERTENCIA: Reintentar (Reintentar(total=4, conectar=None, leer=None,
redirigir=None, status=Ninguno)) después de que la conexión se interrumpa por
'ProxyError('No se puede conectar al proxy.',
NewConnectionError('_vendor.urllib3.connection.HTTPSObjeto de conexión
en 0x7f26fe64fb50>: No se pudo establecer una nueva conexión: [Errno 111]
Conexión rechazada' )
Básicamente es un problema de proxy:
solución (-env http_proxy= --env https_proxy= configura el contenedor acoplable que ejecuta el proxy en vacío):
docker run --env http_proxy= --env https_proxy= --gpus all -it -v /mn**ng/:/work 容器image bash
2. No se puede hacer ping al puerto web externo en el contenedor.
Aunque el puerto docker -p 7860:7860 se puede mapear normalmente, no funciona si la IP no es 0.0.0.0. Debes configurar 0.0.0.0 desde afuera para acceder correctamente a la web iniciada dentro del contenedor.
docker run --gpus all -it -v /m****/:/work -p 18600:18600 llm:v14 python /work/Qwen-7B-main/web_demo.py -c /work/q***odel --server-port 18600 --server-name 0.0.0.0