LLMs之LLaMA2:基于LocalGPT利用LLaMA2模型实现本地化的知识库(Chroma)并与本地文档(基于langchain生成嵌入)进行对话问答图文教程+代码详解之详细攻略

LLMs之LLaMA2:基于LocalGPT利用LLaMA2模型实现本地化的知识库(Chroma)并与本地文档(基于langchain生成嵌入)进行对话问答图文教程+代码详解之详细攻略

导读:总体来说,该项目基本能够实现本地化的知识库,并与本地文档进行对话问答,且能定位答案来源。但缺点也很明显,因为是采用的CPU,导致回答的响应时间较长,问一句话需要好几分钟。采用CPU的确太慢,但是,落地使用GPU成本又太高,这需要一个权衡。LLaMA2本身对中文不太友好,回答有时候是答非所问,可以将核心模型换成国内大模型再次尝试。

目录

猜你喜欢

转载自blog.csdn.net/qq_41185868/article/details/131693015