В 23:00 19 апреля Stability AI, материнская компания Stable Diffusion, объявила об официальном открытии исходного кода новой большой языковой модели: StableLM .
Альфа-версия модели имеет 3 миллиарда и 7 миллиардов параметров, позже будут открыты модели с 15 миллиардами и 65 миллиардами параметров.
С тех пор как Эмад Мостак, основатель Stability AI, покинул команду OpenAI в 2020 году, он придерживается концепции открытого исходного кода и открытости и постоянно запускает различные модели искусственного интеллекта с открытым исходным кодом.
Среди них наиболее влиятельной является известная модель изображения генерации текста Stable Diffusion.
С момента своего выпуска в августе прошлого года Stable Diffusion привлекла большое количество пользователей в области AIGC, что также увеличило стоимость ее материнской компании, собрав 101 миллион долларов в октябре прошлого года.
Сегодня в марте в Интернете появилась информация о том, что Stability AI собирается открыть новый раунд финансирования, и если все пойдет хорошо, оценка компании может достичь 4 миллиардов долларов США.
StableLM с открытым исходным кодом имеет те же основные функции, что и GPT, поддерживает генерацию текста и кода и может обеспечить базовую техническую поддержку для многих приложений в будущем.
В проекте GitHub StableLM предоставляет несколько базовых демонстраций, включая общение в чате, написание писем, создание романа, написание кода и другие функции.
Вот пример простого письма (исходный текст на английском языке, я автоматически перевел его на китайский с помощью ИИ):
GitHub: https://github.com/Stability-AI/StableLM
Технический опыт StableLM основан на ранней языковой модели с открытым исходным кодом некоммерческого исследовательского центра EleutherAI.
Эти языковые модели включают наборы GPT-J, GPT-NeoX и Pythia, обученные на наборе данных с открытым исходным кодом The Pile.
Хотя StableLM также обучается на основе набора данных The Pile, фактический набор обучающих данных в три раза больше, чем исходный набор, который содержит в общей сложности 1,5 триллиона токенов.
Проект выпущен под лицензией CC BY-SA 4.0, что означает, что вы можете использовать StableLM в коммерческих продуктах .