3 способа запуска LangChain | Техническая команда JD Cloud

При использовании LangChain для разработки приложений LLM требуются машины для развертывания GLM.Многие студенты были обескуражены на первом этапе, так как же обойти этот шаг и сначала изучить применение моделей LLM, чтобы быстро начать работу с Langchain? Этот фильм объясняет 3 метода запуска LangChain, пожалуйста, исправьте любые ошибки.

Адрес официального документа лангчейна: https://python.langchain.com/

основная функция

LLM звонки

Поддержка нескольких интерфейсов моделей, таких как OpenAI, HuggingFace, AzureOpenAI…
Поддельный LLM для тестирования
Поддержка кеша, такого как in-mem (память), SQLite, Redis, SQL
запись об использовании
Поддержка потокового режима (то есть возврат слова за словом, аналогичный эффекту набора текста)

Оперативное управление, поддержка различных пользовательских шаблонов

Имеет большое количество загрузчиков документов, таких как Email, Markdown, PDF, Youtube...

Поддержка индексов

разделитель документов
векторизация
Стыковочное хранилище и поиск векторов, таких как Chroma, Pinecone, Qdrand

Цепи

LLMChain
Цепочка различных инструментов
LangChainHub

Подробный адрес см. по адресу:
https://www.langchain.cn/t/topic/35.

3 метода тестирования проекта Langchain:

1 Используйте FakeListLLM, предоставленный Langchian

В целях экономии времени прямо на коде

import os
from decouple import config
from langchain.agents import initialize_agent
from langchain.agents import AgentType
from langchain.agents import load_tools

Здесь имитируйте ChatGPT, используйте mockLLm

#from langchain.llms import OpenAI
from langchain.llms.fake import FakeListLLM
os.environ["OPENAI_API_KEY"] = config('OPENAI_API_KEY')

REPL, сокращение от «цикл чтения-оценки-печати», представляет собой простую интерактивную среду программирования.

В среде REPL пользователь может ввести один или несколько операторов программирования, и система немедленно выполнит эти операторы и выведет результаты. Этот подход отлично подходит для быстрого экспериментирования с кодом и отладки.

tools = load_tools(["python_repl"])
responses=[
    "Action: Python REPL\nAction Input: chatGpt原理",
    "Final Answer: mock答案"
]
llm = FakeListLLM(responses=responses)
agent = initialize_agent(tools, llm, agent=AgentType.ZERO_SHOT_REACT_DESCRIPTION, verbose=True)
agent.run("chatGpt原理2")

2 Используя HumanInputLLM, предоставленный Langchian, посетите запрос Wikipedia

from langchain.llms.human import HumanInputLLM
from langchain.agents import load_tools
from langchain.agents import initialize_agent
from langchain.agents import AgentType
from wikipedia import set_lang

Используйте инструменты Википедии

tools = load_tools(["wikipedia"])

Он должен быть установлен на префикс китайского URL-адреса, иначе он будет недоступен.

set_lang("zh")

Инициализировать LLM

llm = HumanInputLLM(prompt_func=lambda prompt: print(f"\n===PROMPT====\n{prompt}\n=====END OF PROMPT======"))

Инициализировать агент

agent = initialize_agent(tools, llm, agent=AgentType.ZERO_SHOT_REACT_DESCRIPTION, verbose=True)
agent.run("喜羊羊")

3 Используйте обнимающее лицо

https://huggingface.co/docs

1. Зарегистрируйте аккаунт

2. Создайте токены доступа

Демонстрация: суммирование документов с использованием моделей

from langchain.document_loaders import UnstructuredFileLoader
from langchain.chains.summarize import load_summarize_chain
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain import HuggingFaceHub
import os
from decouple import config

from langchain.agents import load_tools

Здесь имитируйте ChatGPT, используйте HUGGINGFACEHUB

os.environ["HUGGINGFACEHUB_API_TOKEN"] = config('HUGGINGFACEHUB_API_TOKEN')

импортировать текст

loader = UnstructuredFileLoader("docment_store\helloLangChain.txt")

Преобразование текста в объект документа

document = loader.load()
print(f'documents:{len(document)}')

Инициализировать разделитель текста

text_splitter = RecursiveCharacterTextSplitter(
    chunk_size = 500,
    chunk_overlap = 0
)

разделить текст

split_documents = text_splitter.split_documents(document)
print(f'documents:{len(split_documents)}')

Загрузите модель LLM

overal_temperature = 0.1
flan_t5xxl = HuggingFaceHub(repo_id="google/flan-t5-xxl", 
                         model_kwargs={"temperature":overal_temperature, 
                                       "max_new_tokens":200}
                         ) 

llm = flan_t5xxl
tools = load_tools(["llm-math"], llm=llm)

Создать сводную цепочку

chain = load_summarize_chain(llm, chain_type="refine", verbose=True)

сводная цепочка выполнения

chain.run(split_documents)

Автор: JD Technology Ян Цзянь

Источник: Сообщество разработчиков JD Cloud.