Конкуренция в индустрии искусственного интеллекта — это не только большая модельная битва между OpenAI и крупными интернет-гигантами, такими как Google, но также и подспудное течение микросхем, поддерживающих вычисления, а также «производственные машины» крупных моделей.
OpenAI планирует заказать более эффективные чипы NPU у Rain AI, стартапа, в который инвестировал генеральный директор Сэм Альтман; Microsoft также выпустила два чипа собственной разработки: Azure Maia 100 и Azure Cobalt 100; только что выпущенная новая модель Google Gemini 1.0 использует собственный дизайн Чипы TPU v4 и v5e.
До этого империя чипов искусственного интеллекта, построенная Nvidia, была мощным экспортером этих крупных модельных компаний.Теперь крупные модельные компании пытаются быть самодостаточными. Официальным вызовом Nvidia является все еще старый игрок на треке чипов.
Компания American Advanced Micro Devices (AMD) выпустила новое поколение ИИ-чипа MI300X, а также отделила Meta, Microsoft и OpenAI от трех основных клиентов Nvidia.
Чипы искусственного интеллекта закатываются, но бросить вызов Nvidia, восседающей на «троне», непросто.
Крупные модельные компании производят собственные чипы
С начала этого года конкурируют различные крупные модели и приложения искусственного интеллекта, и были раскуплены Nvidia A100, A800, H100, H800 и другие чипы, которые могут поддерживать обучение крупных моделей искусственного интеллекта. «Потребителями» являются не только технологические компании, но также правительства и фирмы венчурного капитала.
Компания Nvidia, которая продает воду, уже давно находится в центре внимания: ее чипы искусственного интеллекта в дефиците, а рынок искусственного интеллекта испытывает нехватку графических процессоров.
Microsoft неоднократно заявляла в своем отчете за 2023 финансовый год, что обеспокоена своей способностью получать графические процессоры для своих облачных операций. Генеральный директор OpenAI Сэм Альтман не раз публично «жаловался» на нехватку чипов и огромные затраты.В мае этого года он публично заявил, что OpenAI испытывает острую нехватку вычислительных мощностей. Это также влияет на взаимодействие с пользователем: ChatGPT часто зависает и отвечает с задержкой.
По имеющимся данным, OpenAI стоит 700 000 долларов в день для запуска ChatGPT. Reuters отмечает, что стоимость каждого запроса ChatGPT составляет около 4 центов. Если такие запросы вырастут до 1/10 поисковых запросов в Google, это потребует первоначальных инвестиций в размере около $48 млрд в графические процессоры и $16 млрд в чипы в год. .
Питер Маррс, президент Dell в Азиатско-Тихоокеанском регионе и Японии, предсказал, что покупатели не потерпят длительных сроков поставки графических процессоров Nvidia, что создаст возможности для большого числа конкурентов.
Чтобы избавиться от зависимости от чипов NVIDIA, OpenAI рассматривает возможность разработки собственных чипов искусственного интеллекта, чтобы справиться с глобальной нехваткой графических процессоров и сократить затраты на обучение GPT.
Несколько дней назад было раскрыто письмо о намерениях на заказ от OpenAI.Во время пребывания Альтмана на посту генерального директора компания обещала заказать чипы на сумму до $51 млн у начинающей компании Rain AI, в которой Альтман инвестировал.
Стоит отметить, что этот чип представляет собой «мозгоподобный» AI-чип NPU, основанный на нейроморфной технологии. Говорят, что он «имитирует структуру и функции человеческого мозга» и поддерживает параллельную и распределенную обработку информации, что делает его очень подходящим. для приложений ИИ. «Вычислительно-интенсивные задачи» в нем позволяют обрабатывать информацию с низким потреблением и высокой эффективностью. Но в настоящее время чип все еще находится на стадии исследований и разработок.
Не только OpenAI, но и крупные технологические компании, такие как Microsoft и Google, создают более эффективные чипы.
16 ноября Microsoft представила на Ignite, ежегодной конференции для ИТ-специалистов и разработчиков, два чипа собственной разработки — облачный чип искусственного интеллекта Microsoft Azure Maia 100 и серверный процессор Microsoft Azure Cobalt 100.
Maia 100 предназначена для облачного обучения и вывода для рабочих нагрузок ИИ, а Cobalt 100 — для рабочих нагрузок общего назначения. Ожидается, что в начале 2024 года центры обработки данных Microsoft будут использовать как процессоры Arm, так и специализированные ускорители искусственного интеллекта. Microsoft заявила, что помимо тестирования чипа на продуктах Bing и Office AI, OpenAI также тестирует чип.
Microsoft разрабатывает Maia 100 для самостоятельного использования и поставляет партнер OpenAI
Компания Google также начала принимать меры: ее только что выпущенная большая модель Gemini 1.0, известная как «побеждающая» GPT-4, использует чипы TPU v4 и v5e собственной разработки Google.
Google утверждает, что на TPU Gemini работает значительно быстрее, чем более ранние меньшие и более слабые модели. Кроме того, Gemini также выпустила систему TPU Cloud TPU v5p, которая предназначена для поддержки обучения новейших моделей искусственного интеллекта, тем самым ускоряя разработку Gemini.
Включая производителей оборудования, таких как Apple и Huawei, все больше и больше технологических гигантов начинают самостоятельно проектировать и разрабатывать свои собственные чипы для удовлетворения собственных бизнес-потребностей и дифференцированной конкуренции.
Защита и расширение Nvidia
Смогут ли крупные модельные компании действительно полностью избавиться от зависимости от Nvidia, когда они займутся производством чипов?
Хотя графический процессор Nvidia H100 на рынке удвоил первоначальную цену, спрос по-прежнему превышает предложение. Даже Google, которая выпустила чипы собственной разработки, по-прежнему закупает чипы Nvidia в больших количествах.
У Nvidia есть свой ров.
По данным Financial Times, в этом году Nvidia инвестировала в более чем два десятка компаний, начиная от крупных новых платформ искусственного интеллекта стоимостью в миллиарды долларов и заканчивая небольшими стартапами, применяющими искусственный интеллект в таких отраслях, как здравоохранение или энергетика.
Хотя в Nvidia заявили, что у компании нет особых условий при инвестировании, и она не требует от инвестируемых компаний использования чипов Nvidia. Но в каком-то смысле это означает более близкие отношения.
Мохамед Сиддик, глава венчурного подразделения NVidia NVentures, сказал: «Для Nvidia первым критерием инвестирования в стартапы является актуальность». Я не могу вспомнить ни одну компанию, в которую мы инвестировали, которая не использует продукты Nvidia».
По оценкам Dealroom, компании, занимающейся отслеживанием венчурного капитала, в 2023 году Nvidia участвовала в 35 сделках, что почти в шесть раз больше, чем в прошлом году. Дилрум отметил, что это самый активный год для транзакций Nvidia в области искусственного интеллекта, обогнав крупные фирмы венчурного капитала Кремниевой долины, такие как Andreessen Horowitz и Sequoia.
Кроме того, вычислительная платформа NVIDIA CUDA, а также экосистема программного и аппаратного обеспечения также создали более прочную насыпь для рва NVIDIA.
CUDA — это архитектура параллельных вычислений, представленная NVIDIA. При выполнении одной и той же задачи графические процессоры NVIDIA, поддерживающие системы CUDA, работают в 10–100 раз быстрее, чем центральные процессоры. Именно благодаря системе CUDA графический процессор смог победить центральный процессор и стать сегодня основой для выполнения вычислений больших данных.
Крупные модельные компании разрабатывают собственные чипы и сталкиваются со многими трудностями, основная причина в том, что предложение сырья превышает спрос.
Роб Эндерле, главный аналитик The Enderle Group, сказал: «Производить чипы непросто, а литейные заводы и фабрики перегружены, что делает работу OpenAI, скорее всего, провальной». Он добавил: «Им лучше работать с AMD. , Qualcomm, Nvidia». или Intel, поскольку у последней уже есть собственное литейное производство».
Есть также затраты.
Тодд Р. Вайс, старший аналитик Futurum Group, сказал, что создание собственных чипов для избавления от зависимостей «на первый взгляд — крутая идея», но проектирование собственных чипов, строительство собственных предприятий по производству чипов и бесконечная Обновления разработки Стоимость улучшения дорожной карты чипов и необходимость беспокоиться о собственной цепочке поставок «не проще, чем покупать чипы у других».
Поле битвы за чипы по-прежнему ведется между производителями чипов.
6 декабря крупнейший конкурент Nvidia, компания AMD, провела пресс-конференцию «Продвижение искусственного интеллекта» и пригласила на сцену руководителей Microsoft, Meta и других технологических компаний.На пресс-конференции AMD представила новое поколение AI-чипа MI300X.
По сравнению с NVIDIA H100 HGX, пропускная способность и задержка ускорителя MI300 X при выполнении вывода больших языковых моделей значительно выше, а цена также ниже. Впоследствии Meta, Microsoft и OpenAI заявили на мероприятиях для инвесторов AMD, что в будущем они будут использовать новейшие чипы искусственного интеллекта AMD.
Реальный способ снижения затрат зависит от «взаимного свертывания» производителей чипов. Только когда крупные производители чипов, такие как AMD и Nvidia, вступят в конкуренцию за производственные мощности, цены смогут быть снижены. Чипы собственной разработки крупного модельного гиганта — не более чем дополнительный этап «гонки вооружений».