【fondo】
En la actualidad, muchas empresas no pueden usar la GPT de OpenAI debido a problemas de seguridad de datos y no hay necesidad de usar una GPT tan generalizada. Por lo tanto, muchas empresas tienen la necesidad de entrenar su propio GPT fuera de línea, dicho GPT solo necesita conocimientos profesionales.
Para que esto sea posible, primero es necesario poder ejecutar el modelo de GPT localmente.
【herramienta】
GPT4ALL es una herramienta de este tipo que nació.
Dirección del sitio web oficial: https://gpt4all.io/index.html
Si el sitio web oficial es lento, puede descargar mi Baidu guardado:
Enlace: https://pan.baidu.com/s/1QodbiPxnK0RSYDcDc65sPg?pwd=dff3
Código de extracción : dff3
– Compartir desde Baidu Netdisk super miembro V7
【Método de implementación】
- El primer método de implementación es el más simple: descargue el archivo ejecutable de la plataforma correspondiente en la página de inicio del sitio web oficial y ejecútelo directamente. La ventaja de este método es que es conveniente y está equipado con una interfaz de usuario que integra todas las funciones, incluida la descarga y el entrenamiento del modelo. La desventaja es que este método solo puede usar la función GPT localmente. El entrenamiento personal en GPT personal requiere más aprendizaje y experimentación. Si desea usar esta capacidad para aplicaciones LAN, aún necesita otros métodos de implementación.
- El segundo método de implementación recomendado es la implementación de Python. Aquí hay algunos puntos a tener en cuenta: si usa Anaconda + Pycharm, asegúrese de que el entorno de compilación correspondiente de GPT esté por encima de 3.8, de lo contrario, el paquete de instalación informará un error. Y Anaconda debe ser de 64 bits. Cuando instalé por primera vez 32bitAnaconda en un sistema operativo de 64 bits, también se informó de un error. Estos dos pozos se evitan y la instalación se realizará sin problemas.
Tenga en cuenta que también necesita descargar el archivo bin del modelo en la página de inicio. Se recomienda la versión predeterminada 3.5, que es gratuita y está disponible comercialmente. Hay muchos otros modelos, puedes hacer tu propia investigación.
[comando de implementación de python]
Comandos específicos para el despliegue de python (se pueden ejecutar paso a paso desde la línea de comandos):
primero en la Terminal de Pycharm
pip install nomic
pip install gpt4all
Luego en PythonConsole:
import gpt4all //看看是否成功导入
dir(gpt4all)//查看相关的模块是否都安装了
from gpt4all import GPT4All//开始验证Prompt功能
gpt = GPT4All(model_name="ggml-gpt4all-j-v1.3-groovy.bin",model_path="D:/gpt/")//先把相应的bin模型引入并初始化
gpt.chat_completion([{"role":"assistant","content":"what are machine learning models"}])//这条就是Prompt功能命令，送出后机器反应一会儿会给出问题的回答。
【Otra información】
GPT4ALL se ejecuta en la CPU en lugar de en la GPU, por lo que el rendimiento está relacionado con el rendimiento de la CPU.