【fundo】
Atualmente, muitas empresas não podem usar o GPT da OpenAI devido a problemas de segurança de dados, e não há necessidade de usar um GPT tão generalizado. Portanto, muitas empresas têm a necessidade de treinar seu próprio GPT off-line, que precisa apenas de conhecimento profissional.
Para tornar isso possível, primeiro é necessário poder executar o modelo GPT localmente.
【ferramenta】
GPT4ALL é uma ferramenta que surgiu.
Endereço do site oficial: https://gpt4all.io/index.html
Se o site oficial estiver lento, você pode baixar meu Baidu salvo:
Link: https://pan.baidu.com/s/1QodbiPxnK0RSYDcDc65sPg?pwd=dff3
Código de extração : dff3
– Compartilhamento do super membro Baidu Netdisk V7
【Método de implantação】
- O primeiro método de implantação é o mais simples: baixe o arquivo executável da plataforma correspondente na página inicial do site oficial e execute-o diretamente. A vantagem desse método é que ele é conveniente e equipado com uma interface do usuário que integra todas as funções, incluindo download e treinamento do modelo. A desvantagem é que esse método só pode usar a função GPT localmente. O treinamento pessoal em GPT pessoal requer mais aprendizado e experimentação. Se você quiser usar esse recurso para aplicativos de LAN, ainda precisará de outros métodos de implantação.
- O segundo método de implantação recomendado é a implantação do Python. Aqui estão alguns pontos a serem observados: Se você usar o Anaconda+Pycharm, certifique-se de que o ambiente do compilador correspondente do GPT esteja acima de 3.8, caso contrário, o pacote de instalação relatará um erro. E o Anaconda precisa ser de 64 bits. Quando instalei o 32bitAnaconda pela primeira vez em um sistema operacional de 64 bits, um erro também seria relatado. Esses dois buracos são evitados e a instalação ocorrerá sem problemas.
Observe que também é necessário baixar o arquivo bin do modelo na página inicial. Recomenda-se a versão padrão 3.5, que é gratuita e disponível comercialmente. Existem muitos outros modelos, você pode fazer sua própria pesquisa.
[comando de implantação do python]
Comandos específicos para implantação do python (podem ser executados passo a passo a partir da linha de comando):
primeiro no Terminal do Pycharm
pip install nomic
pip install gpt4all
Em seguida, no PythonConsole:
import gpt4all //看看是否成功导入
dir(gpt4all)//查看相关的模块是否都安装了
from gpt4all import GPT4All//开始验证Prompt功能
gpt = GPT4All(model_name="ggml-gpt4all-j-v1.3-groovy.bin",model_path="D:/gpt/")//先把相应的bin模型引入并初始化
gpt.chat_completion([{"role":"assistant","content":"what are machine learning models"}])//这条就是Prompt功能命令，送出后机器反应一会儿会给出问题的回答。
【Outra informação】
O GPT4ALL é executado na CPU em vez da GPU, portanto, o desempenho está relacionado ao desempenho da CPU.