Анализ: GPT-4 будет официально выпущен 14 марта 2023 года. По сравнению с предыдущим поколением функции GPT-4 были значительно улучшены, Analysys считает, что его функции соответствуют ожиданиям, но все еще есть функциональные дефекты и ограничения возможностей, существовавшие в предыдущем поколении. Первоначальные улучшения функций и новые функции GPT-4 делают его применимым к более широкому диапазону, но применение GPT-4 должно учитывать его текущие функциональные дефекты и ограничения возможностей, чтобы принять технические средства, улучшить методы применения, дизайн. Процесс применения и другие методы могут полностью раскрыть потенциал приложения, избегая при этом возможных рисков применения.
Функциональные дефекты и ограничения возможностей GPT-4 и сопутствующие мысли
14 марта был официально выпущен GPT-4. Генеральный директор OpenAI Сэм Альтман сказал, что GPT-4 — их самая мощная модель в настоящее время, и GPT-4 также, скорее всего, будет самой мощной крупной моделью, открытой для публики. По сравнению с ГПТ-3,5 ГПТ-4 мощнее. Произошло существенное улучшение результатов нескольких пробных тестов, разработанных для людей, таких как количественное мышление GRE и математика SAT, а также значительно улучшились его оценки при оценке традиционных моделей машинного обучения. Будучи мультимодальной моделью, GPT-4 обладает чрезвычайно точным пониманием изображений и может интерпретировать глубокий смысл изображений. С точки зрения рассуждений, цепочка мышления GPT-4, то есть способность разбивать сложные логические задачи на несколько промежуточных логических шагов, также была значительно улучшена по сравнению с предыдущим поколением. Analysys считает, что основное внимание в функциональном улучшении GPT-4 уделяется его мультимодальной способности понимания и способности цепочки мышления, что также расширяет область применения GPT-4.
Но, как сказал Сэм Альтман, у GPT-4 все еще есть недостатки, и его возможности ограничены. Что касается функциональных дефектов, по сравнению с 4-й версией ChatGPT, хотя правдивость знаний GPT-4 в различных областях увеличилась в среднем на 19%, его ответы по-прежнему «фабрикуют» факты и делают неверные выводы. В настоящее время общедоступной информации о GPT-4 еще мало, но Analysys считает, что тестовые данные, принятые GPT-4, имеют отклонения от распределения обучающих данных GPT-4, поэтому можно считать, что GPT-4 показала отличные результаты. в тесте Способность к обобщению, а ситуацию «фабрикации» фактов также можно рассматривать как попытку применения обобщения предметной области, что также имеет сильное сходство с результатами исследований, связанных с процессом формирования познания в нейронауках. Однако сочетание «настаивания» GPT-4 на неправильных ответах и его отказа рассматривать неправильные ответы также показывает, что текущее восприятие GPT-4 границ распределения обучающих данных все еще очень расплывчато. С точки зрения ограничений пропускной способности, большая часть данных предварительной подготовки GPT-4 относится к сентябрю 2021 года, поэтому после этого момента информации не хватает.Например, GPT-4 может не знать информацию о смерти королевы. И GPT-4 не может учиться на диалоговом опыте, и ограничения этой способности также отражают со стороны, что до всеобщего искусственного интеллекта еще далеко.
С точки зрения исследований, связанных с искусственным интеллектом, чтобы справиться с функциональными дефектами GPT-4, необходимо сосредоточиться на исследованиях, связанных с обобщением предметной области.Рекомендуется обратить внимание на прогресс исследований в области метаобучения, обучения с самоконтролем, развязанное обучение выражениям и использование обучения с подкреплением для изучения распределения промежуточных выражений.Связанные исследования. Analysys считает, что для решения проблемы граничного восприятия распределения обучающих данных может потребоваться рассмотрение обучающих данных в виде графиков, однако, судя по текущему прогрессу исследований по графовому обучению, все еще существует очень большой пробел в изучение графов обучающих данных GPT-4 с использованием графовых нейронных сетей. С точки зрения ограничений возможностей необходимо уделять долгосрочное внимание прогрессу соответствующих исследований в области непрерывного обучения.Рекомендуется сосредоточиться на прогрессе исследований в области добавочного непрерывного обучения и независимого от задач непрерывного обучения, и сосредоточиться на методах непрерывного обучения, основанных на изоляции параметров.Analysys считает, что применение Однако методы непрерывного обучения, основанные на изоляции параметров, по-прежнему нуждаются в изучении методов изоляции параметров на основе задач в виде графиков и формировании критериев оценки для задач и методов изоляции. .
С точки зрения приложения можно использовать технологию для снижения риска применения GPT-4 и расширения его использования за счет улучшения метода применения.Предприятиям следует разрабатывать разумные и совместимые приложения на основе полного учета его дефектов и ограничения процесс. Последующая деятельность также будет расширена в этой части.
Некоторые догадки о ТШП-4 и размышления о разработке и применении больших моделей
В настоящее время известно, что количество параметров ГПТ-3 составляет 175Б, а количество параметров ГПТ-3,5 неизвестно. Analysys считает, что объем параметра GPT-3.5 может быть близок к шкале 500B, в то время как объем параметра GPT-4, вероятно, превысит шкалу 1T даже после пост-тренировки. Судя по эффекту применения ChatGPT, весьма вероятно, что GPT-3.5 уже принял архитектуру кодека, и GPT-4 также использует ту же архитектуру.
Согласно приведенным выше предположениям, с точки зрения масштаба вычислительной мощности, подготовленного Microsoft и OpenAI для обучения моделей серии GPT, уже существует среда параллельных вычислений для супервычислений, и она в значительной степени решила проблему параллельных вычислений для моделей с T -параметры уровня, то есть получение передового опыта инженерных возможностей разработки крупномасштабных моделей также может обеспечить непрерывный рост параметров крупномасштабных моделей для последующей разработки. Судя по общедоступной в настоящее время информации об обучении GPT-4, у OpenAI также есть хорошее резюме правил обучения больших моделей, что также способствует разработке больших моделей со специфическими функциями для определенной области. Модернизация инженерных возможностей ИИ имеет очень важное справочное значение для разработки и внедрения крупных моделей в моей стране.
С точки зрения коммерциализации демонстрационный эффект, производимый ГПТ-4, в основном включает следующие аспекты, которые можно использовать для справки в процессе разработки и коммерциализации отечественной крупномасштабной модели.
Во-первых, по сравнению с GPT-3.5 и ChatGPT, GPT-4 больше внимания уделяет стабильности и безопасности своих приложений корпоративного уровня.GPT-4 завершил обучение в августе 2022 года, и чтобы справиться с возможными рисками, после завершения обучения во время период до официального выпуска, это оценка, конфронтационное тестирование, итеративное улучшение, тонкая настройка и корректировка на уровне системы;
Во-вторых, хотя GPT-4 не является открытым исходным кодом, необходимо обратить внимание на OpenAI Evals с открытым исходным кодом, который можно использовать для оценки производительности различных больших моделей, а также можно разработать собственную оценочную логику для конкретных задач. Это может не только доказать возможности его продукта, но и установить стандарты для отрасли, а также может быть использовано для помощи в разработке моделей приложений GPT-4 в различных сценариях и отраслях. В полной мере используйте возможности цепочки мышления GPT-4, проверяйте логику ее рассуждений, расширяйте ее удобство использования и избегайте рисков применения, которые могут возникнуть из-за неправильных рассуждений и «сфабрикованных» фактов.Когда предприятия применяют GPT-4, они также должны разработать руководство целенаправленно просматривать ссылки, уточнять основной орган ответственности, в полной мере использовать его производительность, обеспечивая при этом соответствие его применению и уменьшая возможность риска применения;
В-третьих, углубленное сотрудничество формирует лучшие практики и стимулирует безграничные возможности применения и разработки GPT-4.Практики применения Morgan Stanley, Be My Eyes и Khan Academy являются не только лучшим свидетельством возможностей GPT-4, но и далее определяет возможное направление его применения в будущем, включая такие приложения, как интеллектуальное обслуживание клиентов, поиск знаний, виртуальные сотрудники и интеллектуальный офис, а также значение приложения в разработке программного обеспечения, финансах, медицинском обслуживании, юриспруденции, рекламе и других отраслях. ;
В-четвертых, откройте ограничение на количество слов для ввода текста, что не только демонстрирует его быстрое понимание текста и способность к логическому обучению, но также открывает пространство для воображения для возможности коммерциализации взимания платы в соответствии с объемом выходного контента в сочетании с рекомендациями по передовой практике. будь то сценическое приложение или бизнес-модель, GPT-4 продемонстрировал хорошую демонстрацию, которой стоит поучиться у китайской модели.
Отказ от ответственности. Сторонние данные и другая информация, цитируемые Analysys в этой статье, взяты из общедоступных каналов, и Analysys не несет за это никакой ответственности. В любом случае, эта статья предназначена только для справки, а не как основа. Авторские права на эту статью принадлежат издателю. Без разрешения Analysys Analysis строго запрещается воспроизводить, цитировать или использовать любой контент, опубликованный Analysys Analysis. Любое средство массовой информации, веб-сайт или личное использование после авторизации должны цитировать исходный текст и указывать источник, а точка зрения анализа подлежит официальному содержанию, опубликованному Analysys Analysis, и любой форме удаления, добавления, объединения, вычитания, искажения, и т.п. Analysys не несет никакой ответственности за споры, возникающие в результате ненадлежащего использования, и оставляет за собой право привлечь к ответственности соответствующие ответственные стороны.