OpenAI の /v1/embeddings インターフェイスを自分で実装する
0.背景
OpenAI の API Key を使用するには料金がかかりますので、コストを節約するために OpenAI のさまざまなインターフェイスを自分で実装してみてください。
/v1/embeddings
この記事は主に実装とインターフェイスのコード例です/v1/engines/{model_name}/embeddings
。
1. .env ファイルを変更する
COHERE_API_KEY を追加します。
COHERE_API_KEY='abcdeOuJIC5scu0dB6TJW0CijNMDP5tHfu8u2xyz' # 此 key 无效
2. get_embedding メソッドを変更する
async def get_embedding(payload: Dict[str, Any]):
# print(f"payload: {payload}")
cohere_payload = {"texts": payload["input"], "truncate": "END"}
# print(f"cohere_payload: {cohere_payload}")
# print(f"os.environ['COHERE_API_KEY']: {os.environ['COHERE_API_KEY']}")
cohere_headers = {
'Accept': 'application/json',
'Authorization': 'Bearer ' + os.environ['COHERE_API_KEY'],
'Content-Type': 'application/json',
}
# print(f"cohere_headers: {cohere_headers}")
async with httpx.AsyncClient() as client:
# https://docs.cohere.com/reference/embed
response = await client.post(
"https://api.cohere.ai/v1/embed",
headers=cohere_headers,
json=cohere_payload,
timeout=WORKER_API_TIMEOUT,
)
# print(f"response: {response}")
cohere_embeddings = response.json()
# print(f"cohere_embeddings: {cohere_embeddings}")
embedding = {"embedding": cohere_embeddings["embeddings"], "token_num": 1}
return embedding
終わり!