El texto completo tiene más de 2000 palabras en total y el tiempo de lectura esperado es de unos 10 minutos | ¡Lleno de productos secos, se recomienda recolectar!
El objetivo de este artículo: proporcionar un método detallado para llamar a la API de OpenAI en el entorno local de Jupyter y brindar una descripción específica de la estructura del sitio web oficial de OpenAI.
Como pionero de esta ronda de avances tecnológicos de modelos de lenguaje a gran escala, la serie de modelos a gran escala de OpenAI siempre ha mantenido una posición de liderazgo en términos de efecto. Varios modelos lanzados por él, como el modelo de texto, el modelo de diálogo, el modelo integrado, el modelo de codificación, el modelo gráfico y el modelo de voz, han construido un ecosistema de modelo completo y rico.
Además, el modelo de lenguaje grande de OpenAI se puede razonar y ajustar en línea y, en comparación con los modelos de código abierto que deben implementarse localmente, tiene ventajas obvias en términos de requisitos de hardware, dificultad operativa y costos de mantenimiento. En muchos escenarios de desarrollo prácticos, el gran modelo en línea de OpenAI se ha convertido en la solución preferida.
¡Este artículo comienza con cómo implementar el proceso de llamar a la API OpenAI localmente!
1. La estructura del sitio web oficial.
El sitio web oficial de OpenAI debe ser el documento de ayuda más autorizado. Se brindan explicaciones detalladas de los parámetros y ejemplos de aplicaciones de varios modelos, y también se proporcionan páginas para llamadas en línea y parámetros de modelos de prueba. Al mismo tiempo, debido a que la facturación debe realizarse de acuerdo con la llamada real de la API, también es necesario verificar las reglas de facturación para llamar a la API, verificar el saldo de la cuenta y recargar a tiempo.
Dirección del sitio web oficial de la API de OpenAI
1.1 Documentación
Concentrarnos en:
Para modelos grandes, el número máximo de textos de entrada acumulativos para múltiples rondas de diálogo es limitado y exceder este límite hará que los textos anteriores se olviden gradualmente. En la página de Documentación, debe comprender claramente los MAX TOKENS de cada modelo, indicando el límite máximo de texto para ingresar.
Los MAX TOKENS de la mayoría de los modelos son 4096 tokens, este tipo de modelo se llama modelo 4k, los MAX TOKENS de algunos modelos son 16384 tokens, este es un tipo de modelo recién actualizado (modelo actualizado el 13 de junio), y el sufijo Con 16k logo.
Una regla de estimación aproximada es: 4K tokens equivalen aproximadamente a 8000 palabras
1.2 Referencia de API
Esta página explica en detalle la explicación de los parámetros de cada modelo API, que es un manual de instrucciones indispensable para los desarrolladores.
1.3 Patio de recreo
La página Playground es equivalente a una aplicación de llamada de modelo grande en la página web, donde puede seleccionar directamente diferentes tipos de modelos, seleccionar diferentes parámetros e ingresar diferentes indicaciones para probar los resultados de salida del modelo, y esta página también puede ver el código correspondiente a la operación en la página web y el proceso de operación general. Es muy conveniente y también es muy adecuado para que los principiantes realicen pruebas funcionales de modelos grandes sin código.
1.4 Reglas de facturación
El modelo grande en línea de OpenAI envía aplicaciones de cálculo al modelo en línea de OpenAI a través de una verificación en línea de clave API personal y obtiene los resultados devueltos en tiempo real. Por lo tanto, cuando realmente se llama al modelo grande en línea de OpenAI, se facturará de acuerdo con los diferentes modelos llamados, el número de llamadas y el número de textos de entrada y salida, por lo que es necesario prestar atención al gasto al utilizar él. Las reglas de facturación específicas se pueden ver en la página de Precios
Entre ellos, el modelo 4K significa el modelo de MAX TOKENS = 4096 tokens, y el modelo 16K significa el modelo de MAX TOKENS = 16384 tokens.
El costo del modelo 16K es el doble que el del modelo 4K, de hecho, se debe a que el modelo 16K necesita una mayor capacidad de "espacio oculto" que el modelo 4K, el modelo es más complejo y el costo de las llamadas también es mayor. . Por lo tanto, se recomienda que si no está realizando diálogos de múltiples rondas a escala ultragrande, intente elegir el modelo 4K.
1.5 Restricciones de llamadas
En el proceso de llamar a la API, para proteger los recursos informáticos, OpenAI también limita el número máximo de solicitudes por minuto (RPM: solicitudes por minuto) y el volumen máximo de comunicación de tokens por minuto (TPM: tokens) de cada modelo API. -por minuto), estos límites se pueden ver en la página Límites de velocidad del centro personal
Si desea relajar el límite, puede completar el formulario de solicitud y solicitar al funcionario que aumente el límite superior.
1.6 Saldo de cuenta
Es necesario estar atento al saldo de la cuenta y al monto de uso actual. Puede ver el saldo actual de la cuenta y el consumo de la cuenta en el último período de tiempo en la página Uso del centro personal.
Por cada nueva cuenta registrada, el sistema otorgará un crédito de 5 cuchillos de forma predeterminada y mantendrá el período de uso de aproximadamente 4 meses.
Para el desarrollo comercial, puede establecer la cantidad máxima de consumo mensual total en la página Facturación–>Límites de uso. El valor predeterminado es 120 dólares. Si el uso mensual de la API excede el límite, OpenAI dejará de responder a la llamada de la clave API. Esta configuración puede prevenir eficazmente los excesos de tarifas debido al abuso de API
Entre ellos, el límite flexible significa que cuando el gasto en uso de API exceda una determinada cantidad preestablecida, se le enviará un correo electrónico para recordárselo.
1.7 Recarga de cuenta
El método de recarga de la cuenta OpenAI es similar al método de recarga cuando ChatGPT actualiza PLUS, ambos vinculan primero la tarjeta bancaria y luego deducen la tarifa. Simplemente vincule la tarjeta bancaria que se puede utilizar para el pago en la página Facturación–>Métodos de pago. OpenAI deducirá tarifas según el monto del consumo mensual. Si no sabe cómo pagar, consulte el contenido al final del artículo.
2. Llame a la API OpenAI localmente en Jupyter
2.1 Configuración del entorno
Primero configure las variables de entorno, como ya se mencionó en el artículo anterior, consulte las primeras tres secciones de este artículo:
Serie de desarrollo OpenAI (4): método maestro de llamada a la API OpenAI
Tenga en cuenta que después de configurar las variables de entorno, debe reiniciar la computadora . Una vez que las variables de entorno surtan efecto, puede iniciar Jupyter para probar si puede llamar a la API de modelo grande de OpenAI en el entorno de Jupyter.
Para los usuarios domésticos, es imposible acceder directamente a OpenAI, Jupyter debe iniciarse en un entorno proxy, es decir, Jupyter debe poder acceder a la red a través de un proxy. El método de configuración específico es el siguiente:
- Paso 1: inicie la magia y configure el modelo de proxy global
Tomando mi propia magia como ejemplo, el puerto proxy es el siguiente:
La mayoría de los servidores proxy funcionan mediante un loopback local, concretamente 127.0.0.1, por lo que la dirección y el puerto del proxy mágico actual son: 127.0.0.1:15732.
- Paso 2: configurar el agente Jupyter
La forma más sencilla de permitir que Jupyter acceda a la red a través de un proxy es utilizar la línea de comando cmd para iniciar jupyter.
Luego inicie Jupyter en la línea de comando e ingrese la configuración del entorno proxy antes de cada inicio, es decir, inicie Jupyter en el siguiente orden:
Si se informa un error:
Solución:
La nueva versión de Anaconda no agrega automáticamente variables de entorno cuando se instala. Abra la página de configuración de variables de entorno, luego haga clic en Ruta en la variable del sistema y haga clic en Editar:
Luego agregue dos variables C:\ProgramData\anaconda3\condabin y C:\ProgramData\anaconda3\Scripts (las direcciones de estas dos variables deben ser la ubicación de instalación cuando instale Anaconda usted mismo)
Prueba de nuevo:
2.2 Prueba de llamada
Después de iniciar Jupyter con éxito, puede probar si el modelo grande OpenAI se puede llamar con éxito. El código de prueba es el siguiente:
completions_reponse = openai.Completion.create(
model="text-davinci-003",
prompt="this message is a test",
)
print(completions_reponse)
El resultado es el siguiente: éxito.
3. Resumen
El contenido de este artículo no es mucho. Explica principalmente la composición del sitio web oficial de OpenAI y presenta cómo llamar al modelo grande en línea de OpenAI en el entorno local de Jupyter. Hay dos puntos a tener en cuenta:
- Si la variable de entorno de las claves API de OpenAI está configurada, entrará en vigor después de reiniciar la computadora
- Durante el proceso de investigación y desarrollo, es necesario activar la magia durante todo el proceso.
Finalmente, ¡gracias por leer este artículo! Si sientes que has ganado algo, no olvides darle me gusta, marcarlo y seguirme, esta es la motivación para mi creación continua. Si tiene alguna pregunta o sugerencia, puede dejar un mensaje en el área de comentarios, haré todo lo posible para responder y aceptar sus comentarios. Si hay un tema en particular que le gustaría conocer, hágamelo saber y estaré encantado de escribir un artículo al respecto. ¡Gracias por su apoyo y esperamos crecer con usted!