30 октября Куньлунь Ванвэй объявил об открытом исходном коде большой языковой модели «Tiangong» серии Skywork-13B уровня десятков миллиардов и редком открытом исходном коде большого высококачественного китайского набора данных с открытым исходным кодом, состоящего из 600 ГБ и 150 млрд токенов.
Серия Skywork-13B "Tiangong" компании Kunlun Wanwei в настоящее время включает две основные модели с 13 миллиардами параметров : модель Skywork-13B-Base и модель Skywork-13B-Math . Они хорошо зарекомендовали себя во многих авторитетных оценках и тестах производительности, таких как CEVAL и GSM8K. Он показывает лучший эффект среди моделей того же масштаба , и его способности в Китае особенно выдающиеся.Его производительность в китайских технологиях, финансах, государственных делах и других областях выше, чем у других моделей с открытым исходным кодом.
Адрес загрузки Skywork-13B (объем модели): https://modelscope.cn/organization/skywork
Адрес загрузки Skywork-13B (Github): https://github.com/SkyworkAI/Skywork
В дополнение к моделям с открытым исходным кодом, серия больших моделей Skywork-13B также будет иметь открытый исходный код высококачественного китайского корпуса данных Skypile/Chinese-Web-Text-150B с 600 ГБ и 150 Б токенов, который в настоящее время является одним из крупнейших открытых исходные китайские наборы данных.
При этом серия крупных моделей Skywork-13B компании Kunlun Wanwei вскоре будет полностью открыта для коммерческого использования — разработчикам не нужно подавать заявку на коммерческое использование.
13 миллиардов параметров, две основные модели, один из крупнейших китайских наборов данных, полностью открытый для коммерческого использования. Серию больших моделей Skywork-13B «Tiangong» компании Kunlun Wanwei можно назвать самой тщательной в отрасли высококачественной коммерческой моделью с открытым исходным кодом стоимостью в десятки миллиардов.
Открытый исходный код крупных моделей серии Skywork-13B обеспечит лучшую техническую поддержку для применения на сцене крупных моделей и развития сообществ с открытым исходным кодом, снизит коммерческий порог крупных моделей, будет способствовать внедрению технологий искусственного интеллекта в тысячах отраслей. , внесите свой вклад в создание экологии искусственного интеллекта и объедините усилия с сообществом открытого исходного кода. Исследуйте неизведанный мир и создайте лучшее будущее.
Две основные модели, лидирующие в отрасли
Серия Skywork-13B компании Kunlun Wanwei "Tiangong" включает в себя две основные модели и высококачественный китайский набор данных объемом 150B.
- Модель Skywork-13B-Base является базовой моделью Skywork-13B. Она была обучена с использованием 3,2 триллионов многоязычных данных высокого качества. Она продемонстрировала лучшую производительность среди моделей того же размера в CEVAL, CMMLU, MMLU, GSM8K и другие оценочные и эталонные тесты.Эффект.
- Модель Skywork-13B-Math прошла специальную математическую подготовку и достигла лучших результатов среди моделей того же размера на таких наборах данных, как GSM8K.
- Набор данных Skypile/Chinese-Web-Text-150B . Этот набор данных представляет собой высококачественные данные, отфильтрованные с китайских веб-страниц в соответствии с нашим тщательно отфильтрованным процессом обработки данных. На этот раз размер набора данных с открытым исходным кодом составляет около 600 ГБ, а общее количество токенов — около 150 Б. В настоящее время это один из крупнейших китайских наборов данных с открытым исходным кодом.
Кроме того, в серии Skywork-13B также раскрываются методы оценки, используемые в модели, исследования соотношения данных и решения по настройке инфраструктуры обучения. Есть надежда, что этот контент с открытым исходным кодом может еще больше вдохновить сообщество на понимание предварительной подготовки крупномасштабных моделей и способствовать реализации общего искусственного интеллекта (AGI).
Пять характеристик всеобъемлющего превосходства
Серия больших моделей Skywork-13B компании Kunlun Wanwei "Tiangong" продемонстрировала лучшие результаты среди моделей того же размера во многих авторитетных оценках и тестах производительности, таких как CEVAL и GSM8K. Ее возможности на китайском языке особенно выдающиеся, и она широко используется на китайском языке. технологии, финансы и государственные дела. Производительность в других областях выше, чем у других моделей с открытым исходным кодом.
Пять основных особенностей моделей серии Skywork-13B:
- Высочайшие показатели параметров: полностью превосходят большие модели того же размера.
Эта модель серии Skywork-13B с открытым исходным кодом полностью превосходит крупные модели с открытым исходным кодом, такие как LLaMA2-13B, в нескольких авторитетных оценочных тестах, таких как CEVAL, CMMLU, MMLU, GSM8K и т. д., и достигает лучших результатов среди крупных моделей того же масштаба. (данные на 25 октября)
- Максимальные данные обучения: высококачественные многоязычные данные обучения 3,2 Тл.
Большие модели серии Skywork-13B имеют 13 миллиардов параметров и 3,2 триллиона высококачественных многоязычных обучающих данных. Способность генерировать модели, творческие способности и способности к математическому рассуждению были значительно улучшены.
- Самые сильные возможности моделирования на китайском языке: оценка сложности моделирования на китайском языке, превосходящая все китайские модели с открытым исходным кодом.
Большие модели серии Skywork-13B хорошо справляются с возможностями моделирования на китайском языке и обладают отличными творческими способностями в области китайской культуры. При оценке создания китайского текста большие модели серии Skywork-13B продемонстрировали выдающиеся возможности, особенно в таких областях, как технологии, финансы, государственные дела, корпоративные услуги, культурное творчество, игры и т. д., которые показали более высокие результаты. чем другие модели с открытым исходным кодом в отрасли.
- Один из крупнейших китайских наборов данных с открытым исходным кодом: высококачественный китайский корпус 150B Tokens.
Серия Skywork-13B будет оснащена высококачественным китайским набором данных с открытым исходным кодом 600 ГБ и 150 млрд токенов Skypile/Chinese-Web-Text-150B, который в настоящее время является одним из крупнейших китайских наборов данных с открытым исходным кодом. Разработчики могут максимально использовать процесс предварительного обучения большой модели и опыт работы с техническим отчетом, глубоко настраивать параметры модели и выполнять целевое обучение и оптимизацию.
- Самое искреннее коммерческое использование с открытым исходным кодом: не нужно подавать заявку, вы можете добиться коммерческого использования.
В настоящее время большинство китайских крупных моделей в сообществе с открытым исходным кодом не являются полностью коммерчески доступными.Как правило, пользователям в сообществе с открытым исходным кодом обычно приходится проходить сложный процесс подачи заявки на коммерческое разрешение.В некоторых случаях существуют даже четкие правила в отношении размер компании, отрасль, количество пользователей и др. Коммерческая лицензия не предоставляется.
Куньлунь Ванвэй придает большое значение открытости и коммерциализации открытого исходного кода серии Skywork-13B. Он упростил процесс авторизации и снял ограничения по отрасли, размеру компании, пользователям и т. д. с целью помочь большему количеству людей, знакомых с Крупные китайские модели. Заинтересованные пользователи и предприятия продолжают исследовать и прогрессировать в отрасли.
На этот раз серия больших моделей Skywork-13B будет полностью лицензирована для коммерческого использования.После того, как пользователи загрузят модель, согласятся и будут соблюдать «Лицензионное соглашение сообщества моделей Skywork», они смогут использовать большую модель в коммерческих целях без подачи заявления. для авторизации еще раз. Есть надежда, что пользователям будет удобнее изучать технические возможности крупных моделей серии Skywork-13B и изучать коммерческое применение в различных сценариях.
Содействовать процветанию экосистемы с открытым исходным кодом, позволить большему количеству разработчиков участвовать в технологическом развитии AIGC и способствовать технологическому совершенствованию посредством совместного творчества и обмена.
В эпоху искусственного интеллекта создание быстро развивающейся экосистемы с открытым исходным кодом является важной частью интеграции искусственного интеллекта и приложений. Сократите порог исследований и разработок и стоимость использования модели, максимизируйте обмен техническими возможностями и опытом и позвольте большему количеству компаний и разработчиков участвовать в этих технологических изменениях, возглавляемых ИИ. Председатель и генеральный директор Kunlun Wanwei Фан Хан — первый ветеран открытого исходного кода, принявший участие в создании экосистемы с открытым исходным кодом, и один из первых пропагандистов китайского Linux с открытым исходным кодом.Дух открытого исходного кода и развитие технологии AIGC будут идеально интегрированы. в стратегии Куньлунь Ванвэй.
Все в AGI与AIGC
Все в AGI и AIGC — это стратегии Куньлунь Ванвэя.
17 апреля Куньлунь Ванвэй выпустил первую в Китае крупномасштабную языковую модель, которая действительно реализует появление интеллекта - «Тяньгун 3.5» и запустил тестирование приглашений.
19 мая Муниципальное бюро экономики и информационных технологий Пекина объявило о первой партии «Списка участников Пекинской общей программы инновационного партнерства в области искусственного интеллекта». Kunlun Wanwei стала первой группой образцовых партнеров и инвестиционных партнеров благодаря своей передовой схеме разведки и инвестиций на месторождении AIGC.
23 августа компания Kunlun Wanwei выпустила Tiangong AI Search, первый в Китае поисковый продукт с использованием искусственного интеллекта.
1 сентября профессор Ян Шуйчэн, ведущий международный эксперт в области компьютерного зрения и машинного обучения, официально присоединился к компании Kunlun Technology.Вместе с основателем Kunlun Technology Чжоу Яхуэем он занимал должность со-генерального директора Tiangong Intelligence и одновременно занимал должность генерального директора Tiangong Intelligence. директор Института глобальных исследований «Куньлунь Технологии 2050» Отвечает за исследования в области передовых технологий.
5 сентября большая модель Куньлунь Ванвэй Тяньгун заняла первое место по комплексному баллу в оценке мультимодальной модели большого языка, проведенной лабораторией Tencent Youtu Lab и Университетом Сямэнь.
25 сентября Куньлунь Ванвэй официально взял под свой контроль Aijie Core и представил чипы искусственного интеллекта.
Сегодня открытый исходный код серии крупных моделей Skywork-13B свидетельствует о решимости Kunlun Wanwei продолжать инвестировать в экосистему AGI.
Знакомство с группой Куньлунь Ванвэй
Компания Kunlun Wanwei была основана в 2008 году и зарегистрирована на Шэньчжэньской фондовой бирже в 2015 году. От игр до AII, AGI и AIGC, мы комплексно создали диверсифицированную бизнес-экосистему. За более чем десять лет развития мы всегда стремились предоставлять ведущие Интернет-услуги для пользователей по всему миру, продукты и услуги. Сегодня Куньлунь Ванвэй все еще исследует безграничные возможности в области искусственного интеллекта. В настоящее время Kunlun Wanwei постепенно выстроила три основных бизнес-сегмента: AGI и AIGC, зарубежное распространение информации и метавселенную, а также инвестиции. Ее бизнес охватывает более 100 стран и регионов по всему миру, а среднемесячное количество активных пользователей в мире составляет почти 400 миллионов. .
Благодаря передовому прогнозированию тенденций технологического развития компания Kunlun Technology начала внедрение в области AIGC уже в 2020 году. На данный момент компания накопила почти три года соответствующего опыта инженерных исследований и разработок и создала ведущие в отрасли возможности глубокой обработки данных перед обучением.Куньлунь Ванвэй также добился крупных прорывов в области искусственного интеллекта.В настоящее время он сформирован Большие модели ИИ, поиск ИИ, ИИ Имея шесть основных бизнес-матриц ИИ: игры, музыку ИИ, анимацию ИИ и социальные сети ИИ, это одна из отечественных компаний с сильнейшими технологиями моделирования и инженерными возможностями, наиболее полной планировкой и полностью привержен созданию сообществ с открытым исходным кодом.
В Alibaba Cloud произошел серьезный сбой, и все продукты были затронуты (восстановлены).Tumblr охладил российскую операционную систему Aurora OS 5.0.Новый пользовательский интерфейс представил Delphi 12 и C++ Builder 12, RAD Studio 12. Многие интернет-компании срочно нанимают программистов Hongmeng.UNIX time вот-вот вступит эпоха 1,7 миллиардов человек (уже наступила). Meituan набирает войска и планирует разработать системное приложение Hongmeng. Amazon разрабатывает операционную систему на базе Linux, чтобы избавиться от зависимости Android от .NET 8 в Linux. Независимый размер составляет уменьшено на 50% .Выпущен FFmpeg 6.1 "Heaviside".