Прежде всего, позвольте мне объяснить нашу версию MOSS.Текущая версия с открытым исходным кодом называется MOSS 003. В феврале версия с открытым исходным кодом называется MOSS 002. В январе у нас также есть внутренняя тестовая версия под названием OpenChat 001. Вот краткое введение в нашу версию MOSS, последовательные итерации.
OpenChat 001
После выхода ChatGPT в прошлом году это сильно повлияло на отечественных НЛП-практиков.В то время не было ни ламы, ни альпаки.Принято считать, что до ChatGPT нас отделяет один-два года. Очень дорого делать две части ChatGPT, одна — маркировка данных, а другая — предварительная подготовка вычислительной мощности. У нас нет вычислительных мощностей, но мы можем попытаться сконструировать какие-то данные, ведь ИИ достаточно мощный, чтобы заменить работу стольких людей, и нет оснований думать, что он не может заменить работу лейблеров. Поэтому мы взяли некоторые пользовательские подсказки, собранные их API, из приложения к статье OpenAI, а затем использовали text-davinci-003 для расширения примерно 400 000 диалоговых данных с идеей, аналогичной Self-Instruct. Правильно, это похоже на сегодняшнюю альпаку, и у нас по-прежнему было несколько раундов диалога вместо отдельных раундов инструкций. После этого я провел тонкую настройку на базе 16B (CodeGen) и обнаружил, что чуть более крупная модель может легко обучиться способности следовать инструкциям Ниже приведены некоторые примеры того времени.
Способность следовать директиве OpenChat 001
OpenChat 001 Возможность многоэтапного диалога