Hugging Face y ServiceNow lanzaron recientemente un modelo de lenguaje gratuito a gran escala StarCoder (15 mil millones de parámetros). El propósito principal de este modelo es generar código después del entrenamiento. El propósito es luchar contra las herramientas de programación basadas en IA como GitHub Copilot y Amazon. CodeWhisperer.
En la actualidad, las herramientas de programación de IA como GitHub Copilot son productos comerciales y los desarrolladores deben pagar suscripciones para usarlas, mientras que StarCoder puede ser utilizado por cualquier persona (incluidas las empresas) de forma gratuita.
Otro problema al que se enfrentan las herramientas de programación de IA es que estas empresas de tecnología que desarrollan herramientas de IA suelen utilizar códigos fuente abiertos en Internet para entrenar a la IA, pero estos conjuntos de datos no están autorizados y los códigos generados también enfrentan problemas legales, éticos y de código. de atribución. Por ejemplo, GitHub ahora enfrenta una demanda colectiva de Copilot.
Para evitar tales problemas, StarCoder está capacitado en el código fuente autorizado de estas dos empresas, con el objetivo de crear el sistema de inteligencia artificial más avanzado para el código de manera abierta y responsable.El código fuente autorizado cubre 80 un lenguaje de programación.
Para entrenar un modelo de este tipo, Hugging Face utilizó un clúster informático interno que consta de 512 GPU Nvidia V100 para entrenar a StarCoder.
StarCoder no es estrictamente un modelo LLM de código abierto, se publica bajo la licencia OpenRAIL-M, que incluye restricciones aplicables a la modificación del modelo y al uso del modelo, así como restricciones a la distribución de código malicioso. El código de soporte relacionado con StarCoder está publicado actualmente en GitHub .