Основатель и бывший генеральный директор Microsoft Стив Балмер однажды сказал: «Linux — это рак».
«Но это создает хорошую конкуренцию, заставляет нас внедрять инновации, заставляет нас оправдывать цену и ценность, которую мы предлагаем».
Эпоха больших моделей все еще нуждается в открытом исходном коде?
Несколько дней назад в Интернет просочился документ из Google.
Автор документа, исследователь Google, считает, что закрытая стратегия Google и OpenAI неизбежно приведет к отставанию от моделей с открытым исходным кодом (таких как LLaMA от Meta и т. д.), и даже OpenAI не может сравниться с мощью открытого исходного кода. .
Он подробно объяснил причины такого суждения в документе, и эти взгляды вызвали много дискуссий в техническом сообществе и индустрии ИИ.
Мы помещаем оригинальный перевод в конце этой статьи.
0 1
Обсуждения в техническом сообществе
После того, как документ был выпущен, он быстро вызвал множество дискуссий в технологическом и техническом сообществах. Мы организуем некоторые из наших представлений следующим образом:
Я думаю, что Сатья Наделла хорошо сказал в своем интервью: Доходы от рекламы, особенно от поиска, являются дополнительными для Microsoft, а для Google это все.
Таким образом, в то время как Microsoft хочет снизить прибыль от поисковой рекламы, чтобы завоевать долю рынка Google, Google должна защищать всю свою прибыль — иначе они будут гораздо менее прибыльными в своем основном бизнесе.
Стоимость LLM намного выше, чем традиционный поиск, и Google не может просто заменить свою существующую линейку продуктов на LLM: это на самом деле улучшает их итоговую прибыль.
Microsoft готова заменить существующий Bing на «новый Bing», основанный на технологии OpenAI, потому что они зарабатывают относительно мало денег на поиске, а завоевание доли рынка компенсирует небольшую прибыль от доли рынка.
Google стоит перед дилеммой: либо они резко увеличивают себестоимость доходов, чтобы защитить долю рынка, либо рискуют потерять долю рынка в своем основном бизнесе. Подобно тому, как Google когда-то съел Yahoo с помощью PageRank, в будущем его могут съесть прорывные технологии, такие как LLM.Самый быстрый способ довести себя до совершенства — это купить услуги OpenAI. Экзистенциальный риск для OpenAI заключается в том, будут ли они продолжать быть (полу) независимыми, а не в том, закроются ли они.
LLM лучше, чем Google, в поиске (для открытых вопросов), и именно отсюда поступает большая часть доходов Google. Таким образом, это фактически дает новым компаниям, таким как OpenAI, возможность переопределить, куда идут потребители.
OpenAI подвергается экзистенциальному риску, а не Google. Google догонит и будет иметь преимущество покрытия/субсидии. Это так называемая «конкуренция» с открытым исходным кодом будет бесплатной рабочей силой. Любые выигрышные идеи переносятся в продукты Google в течение короткого периода времени.
Google мог бы делать ставку на мегамоделей, как это сделал YouTube. В то время стоимость содержания YouTube была ошеломляющей и составляла миллиарды долларов. Но Google видит, к чему все идет: тройная тенденция снижения затрат на хранение, пропускную способность и транспортные расходы. Если будет достаточный спрос, появится специализированное недорогое оборудование, предназначенное для LLM.
Google не подведет, они только предоставят вычислительную инфраструктуру людям, которые создают продукты ИИ.
Когда Google жалуется на отсутствие рва, они жалуются на то, что у него нет достаточно большого рва, чтобы поддерживать такую большую компанию, как Google.
Честно говоря, я не вижу шансов на провал Google. Как и любой другой технологический гигант, они сидят на смехотворно большом военном сундуке. В худшем случае они могут подождать, пока рынок немного стабилизируется, а затем потратить миллиарды на покупку лидера рынка. Если ИИ действительно представляет реальную угрозу их бизнес-перспективам, нет никакой необходимости тратить на него свои резервы.
OpenAI — это больше лаборатория, чем компания. В некотором смысле они чем-то напоминают лабораторию, изобретшую компьютерную мышь, и коммерциализация их не интересует.
Если OpenAI сможет завоевать рынок разработчиков с дешевым доступом к API и более качественными продуктами, тогда распространение будет осуществляться через третьих лиц, а все остальные будут продуктами, которые отправляют обучающие данные обратно в модель.
Никакая модель с открытым исходным кодом не является открытой в классическом смысле. Они бесплатны, но не являются исходным кодом; они ближе к свободно распространяемым скомпилированным бинарным файлам, для которых компилятор и исходные данные еще не выпущены. Настоящая модель ИИ с открытым исходным кодом требует указания обучающих данных и кода из обучающих данных в модель. Конечно, для других получение этой информации, построение модели заново и проверка получения тех же результатов обходится очень дорого, может быть, нам это и не нужно.
0 2
Google должен открыть исходный код
Закрытие не помеха
Бывший ученый Google Ли Чжифей, основатель и генеральный директор Wenmeng, который только что выпустил крупномасштабную модель «Serial Monkey», недавно подверг критике и анализу стратегии Google в отношении крупномасштабных моделей, а также высказал свое мнение по поводу этого просочившегося документа.
Императив Google с открытым исходным кодом. Причины следующие:
01. Если Google этого не сделает, это сделают другие
У каждой компании есть то, что она считает самым ценным и основным, и она не хочет показывать это всем, но эти вещи не обязательно так ценны для конкурентов. Например, большая модель может быть сокровищем Google, но Мета по соседству не так важна — в любом случае, Метавселенная понесла такую потерю, поэтому лучше воспользоваться этой возможностью, чтобы открыть исходный код большой модели, поэтому LLaMA имеет центр внимания. Даже если Meta уйдет или не будет настаивать на этом, должны быть другие опоздавшие (такие как Amazon), которые следят за этим.Это закон и судьба интернет-технологий.
02. Каким бы хорошим ни был Google, он не может сравниться с коллективным разумом
Технологии в Соединенных Штатах очень разнообразны.Хотя такие гиганты, как Google, собрали большое количество талантов в области ИИ, университеты и другие негигантские компании (включая начинающие компании) также собрали много способных и умных талантов. Нынешняя ситуация такова, что большие модели привлекли внимание всего общества.В индустрию больших моделей хлынули не только индустрия искусственного интеллекта, но и элитные таланты из всех слоев общества. При такой высокой степени социального внимания, плотности и силы талантов результатом обязательно будут чрезвычайно процветающие инновации и чрезвычайно быстрая экологическая эволюция. Если Google не откроет исходный код, он не сможет использовать более мощный коллективный разум для полировки своей большой модели и построения собственной экологии.
03. Открытый исходный код обязателен для опоздавших
Очевидно, что в области больших моделей Google сильно отстал от OpenAI по темпам. С точки зрения экологии открытого исходного кода, если Google снова будет колебаться, даже если он захочет открыть исходный код позже, он будет отставать от LLaMA от Meta с большим отрывом. Напротив, если это открытый исходный код, барьеры OpenAI могут быть еще больше снижены, и это привлечет (или удержит) многих высокопоставленных талантов, которые поддерживают открытый исходный код. Если Google будет с открытым исходным кодом, это определенно сделает OpenAI чрезвычайно болезненным. С одной стороны, ее бизнес-модель, основанная на плате за API модели, будет значительно снижена, с другой стороны, у нее нет крупных инвестиций Google в поддержку крупномасштабной разработки моделей с помощью других бизнес-моделей. Грубо говоря, боль врага — это собственное счастье, от чего Google тоже может чувствовать себя лучше, и не дайте себя одурачить.
04. Открытый исходный код не означает, что вы не можете строить барьеры
Кто-то может сказать, что для Google не существует препятствий для открытого исходного кода? Во-первых, Google богат ресурсами.Я как-то предложил разделить внутренние силы на три силы: внутреннюю фалангу обновления, фалангу открытого исходного кода и фалангу исследования. Таким образом, открытый исходный код — это не весь Google, но он может использовать открытый исходный код, чтобы использовать коллективный разум общества для атаки на OpenAI.
Во-вторых, разнообразие больших моделей заключается не в затратной модели предобучения (это часть, подходящая для опенсорса), а в тонкой настройке различных моделей и оптимизации инженерного развертывания для реализации приложений. собственные богатые и красочные сценарии приложений Многие барьеры могут быть построены на уровне продукта, включая маховики данных.
Наконец, в эпоху, когда технологии становятся все более и более популярными, самый большой барьер не возникает из-за того, что вы первым делаете большой шаг, а затем замыкаетесь в себе. Создание барьеров требует долгосрочного мышления, постоянных инвестиций и итерации в сложном вопросе. Google на самом деле имеет традицию открытого исходного кода, а также является бенефициаром открытого исходного кода, такого как его экология Android и Tensorflow, поэтому Google должен поддерживать эту традицию, использовать свои собственные преимущества и вновь появиться в эпоху AGI.
Ниже приводится оригинальный SemiAnalysis просочившегося документа, переведенный AI и откорректированный Founder Park.
Эта статья представляет собой документ, просочившийся на общедоступный форум Discord от исследователя из Google. Сайт SemiAnalysis, опубликовавший статью, подтвердил подлинность документа.
«Этот документ представляет собой личное мнение сотрудников Google, а не компании в целом. Мы не согласны со следующим, как и другие исследователи, с которыми мы консультировались».
01
OpenAI тоже не работает
Мы внимательно следим за тем, что делает OpenAI. Кто пройдет следующий рубеж? Что дальше?
Но неприятная правда заключается в том, что мы не взяли на себя инициативу, как и OpenAI. Пока мы препирались, третья сторона незаметно съела наш обед.
Конечно, я имею в виду открытый исходный код. Откровенно говоря, они опережают нас. То, что мы считаем «значительными открытыми проблемами», уже решено и применено в некоторых руках. Просто назвать несколько:
LLM на телефонах : люди запускают базовые модели на Pixel 6 со скоростью 5 токенов в секунду.
Масштабируемый личный ИИ : вы можете точно настроить свой личный ИИ за одну ночь на своем ноутбуке.
Ответственный выпуск : это не «решено», а «очевидно». Есть сайты, полные нарисованных моделей без ограничений, и LLM не отстает.
Мультимодальность : текущая мультимодальная система ScienceQA SOTA тренируется менее чем за час.
Хотя наша модель по-прежнему имеет небольшое преимущество в качестве, разрыв сокращается впечатляющими темпами. Модель с открытым исходным кодом более быстрая, более настраиваемая, более конфиденциальная и более мощная. Они работают с параметрами в 100 долларов и 13 миллиардов долларов, а мы все еще боремся с параметрами в 10 миллионов долларов и 540 миллиардов долларов. Кроме того, они сделали это за недели, а не месяцы. Это имеет для нас серьезные последствия:
У нас нет секретной формулы . Мы надеемся учиться и сотрудничать с тем, что делают другие, помимо Google. Мы должны уделять первоочередное внимание включению сторонних интеграций.
Люди не стали бы платить за модель с ограничениями, если бы бесплатные и неограниченные альтернативы были такого же качества . Мы должны подумать о том, в чем заключается наша реальная добавленная стоимость.
Гигантские мегамодели замедляют нас . В долгосрочной перспективе лучшие модели — это те, которые можно быстро повторять. Мы должны сосредоточить внимание на небольших вариантах, теперь мы знаем, что может произойти в диапазоне параметров < 20B.
02
Что случилось с сообществом открытого исходного кода?
В начале марта модель LLaMA от Meta появилась в сообществе с открытым исходным кодом. Это очень мощная базовая модель без инструкций или настройки сеанса и без RLHF. Тем не менее, сообщество открытого исходного кода сразу признало важность этого материала.
За этим последовал шквал нововведений, с крупными разработками каждые несколько дней (подробности см. в графике). Теперь, всего через месяц, появились варианты с настройкой команд, квантованием, улучшением качества, оценкой человеком, мультимодальностью, RLHF, многие из которых основаны друг на друге.
Самое главное, они решают проблему масштабирования, так что любой может поэкспериментировать. Многие новые идеи исходят от обычных людей. Планка обучения и экспериментов была снижена с общей производительности крупного научно-исследовательского учреждения до одного человека, одной ночи и одного мощного ноутбука.
03
Стабильный диффузионный момент LLM
Во многих отношениях это не должно удивлять людей.
Ренессанс LLM с открытым исходным кодом последовал за ренессансом генерации изображений. Сообщество не упустило из виду эти параллели, и многие называют это LLM «моментом стабильного распространения».
В обоих случаях общественность имеет возможность участвовать по низкой цене благодаря гораздо более дешевому механизму тонкой настройки, называемому адаптацией низкого ранга (LoRA), в сочетании с крупным прорывом в масштабе (Скрытая диффузия для синтеза изображений, Шиншилла для LLM). В обоих случаях доступ к высококачественным моделям вызвал появление идей и итераций у отдельных лиц и организаций по всему миру. В обоих случаях это быстро превзошло более крупных игроков.
Этот вклад имеет решающее значение в области генерации изображений и выводит Stable Diffusion на другой путь, чем Dall-E. Открытая модель привела к интеграции продуктов, маркетингу, пользовательскому интерфейсу и инновациям, чего не произошло с Dall-E.
Эффект ясен: быстрое доминирование с точки зрения культурного влияния, делающее решения OpenAI все более неуместными по сравнению с ними. Будет ли то же самое в случае LLM, еще неизвестно, но общие структурные элементы остались прежними.
04
Что упустил Гугл
Недавний успех программного обеспечения с открытым исходным кодом был неотделим от передовых инноваций в технологиях, которые напрямую решают проблемы, с которыми мы все еще боремся. Если уделять больше внимания их работе, это поможет нам не изобретать велосипед.
LoRA — очень мощная технология, на которую следует обратить больше внимания.
LoRA работает, представляя обновления модели в виде разложения низкого ранга, что уменьшает размер матрицы обновлений в тысячи раз. Это значительно снижает стоимость и время тонкой настройки модели. Возможность персонализировать языковые модели за считанные часы на аппаратном обеспечении потребительского уровня важна, особенно для задач, связанных с внедрением новых и разнообразных знаний практически в режиме реального времени. Несмотря на то, что эта технология напрямую влияет на наши самые амбициозные проекты, она по-прежнему недостаточно используется в Google.
Переобучение модели с нуля — сложный путь.
LoRA работает отчасти потому, что, как и другие формы тонкой настройки, ее можно накладывать друг на друга. Такие улучшения, как точная настройка инструкций, могут быть применены, а затем добавлены к диалогам, рассуждениям или использованию инструментов в качестве других участников. Хотя индивидуальная точная настройка имеет низкий ранг, их сумма не обязательно должна быть низкого ранга, что позволяет накапливать обновления модели полного ранга с течением времени.
Это означает, что по мере появления новых и лучших наборов данных и задач модели можно поддерживать в актуальном состоянии с минимальными затратами, не оплачивая стоимость полного цикла.
Напротив, обучение гигантской модели с нуля отбрасывает не только предварительное обучение, но и любые итерационные улучшения, сделанные поверх него. В мире с открытым исходным кодом эти улучшения могут быстро вступить в силу, что сделает полное переобучение чрезвычайно дорогим.
Мы должны тщательно обдумать, действительно ли для каждого нового приложения или идеи требуется совершенно новая модель. Если у нас есть значительные архитектурные улучшения, в которых вес модели нельзя использовать повторно напрямую, тогда нам следует инвестировать в более агрессивную форму дистилляции, чтобы максимально сохранить возможности предыдущего поколения.
Если мы сможем выполнять итерации на небольших моделях быстрее, в долгосрочной перспективе у больших моделей не будет никаких преимуществ.
Стоимость обновлений LoRA очень низкая (~ 100 долларов США) для самых популярных размеров моделей. Это означает, что почти любой, у кого есть идея, может создать и распространить модель. Время тренировок в течение дня нормальное. При таком темпе не требуется много времени, прежде чем кумулятивный эффект всех этих тонких настроек преодолеет недостаток начинать с малого. На самом деле, с точки зрения времени инженеров, эти модели улучшаются намного быстрее, чем мы можем сделать с самыми большими вариантами, а лучшие модели уже неотличимы от ChatGPT. Сосредоточение внимания на обслуживании некоторых из самых больших моделей в мире может фактически поставить нас в невыгодное положение.
05
Качество данных важнее их размера
Многие проекты экономят время, обучаясь на небольших тщательно отобранных наборах данных. Это предполагает некоторую гибкость в законах масштабирования данных. Эти наборы данных основаны на идеях из книги «Данные — это не то, что вы думаете», и они быстро становятся стандартным способом обучения за пределами Google. Эти наборы данных были созданы с использованием синтетических методов (например, путем фильтрации лучших ответов из существующих моделей) и переработаны из других проектов, ни один из которых не имел преимущества в Google. К счастью, эти высококачественные наборы данных имеют открытый исходный код и поэтому находятся в свободном доступе.
Прямая конкуренция с открытым исходным кодом обречена.
Эта последняя разработка имеет прямое, непосредственное значение для нашей коммерческой стратегии. Кто стал бы платить за продукт Google, если бы существовала бесплатная высококачественная альтернатива без ограничений по использованию?
Мы не должны ожидать, что сможем наверстать упущенное. Есть причина, по которой современный интернет работает благодаря открытому исходному коду. Открытый исходный код имеет ряд существенных преимуществ, которые мы не можем воспроизвести.
06
Нам нужен открытый исходный код больше, чем модели с открытым исходным кодом
Хранить наши технологии в секрете всегда было шатким предложением. Исследователи Google часто уходят в другие компании, поэтому мы можем предположить, что они знают все, что знаем мы, и будут продолжать это делать, пока канал открыт.
Однако поддерживать технологическое конкурентное преимущество стало сложнее, поскольку передовые исследования в LLM стали более доступными. Исследовательские институты по всему миру опираются на работу друг друга, чтобы исследовать области решений в широком смысле, выходящем далеко за рамки наших собственных возможностей. Мы можем попытаться сохранить наши секреты, в то время как внешние инновации уменьшат их ценность, или мы можем попытаться учиться друг у друга.
07
Физические лица не подпадают под те же ограничения, что и предприятия
Многие инновации основаны на просочившихся весах метамоделей. Хотя это неизбежно изменится по мере улучшения действительно открытых моделей, суть в том, что им не нужно ждать. Люди могли приобретать эти технологии по мере того, как они становились популярными, благодаря юридическим гарантиям прав «личного использования» и сложности судебного преследования отдельных лиц.
08
Стать своим собственным клиентом означает, что вы понимаете пользователя
Существует широкий спектр творчества при просмотре моделей, созданных людьми в области создания изображений, от генераторов анимации до ландшафтов HDR. Эти модели используются и создаются теми, кто глубоко погружен в свой конкретный поджанр, с глубиной знаний и сочувствием, с которыми мы не можем сравниться.
09
Владение экосистемой: заставьте открытый исходный код работать на нас
Однако единственным бенефициаром является Meta Corporation. Поскольку просочившаяся модель принадлежит им, они эффективно используют ценность бесплатного труда во всем мире. Поскольку большинство инноваций с открытым исходным кодом основаны на их архитектуре, они могут включать их непосредственно в свои продукты, и никто не может их остановить.
Ценность владения экосистемой очевидна. Сам Google успешно применил эту модель к своим продуктам с открытым исходным кодом, таким как Chrome и Android. Владея платформой, на которой происходят инновации, Google закрепляет за собой роль идейного лидера и задающего направление, получая возможность формировать повествования об идеях большего масштаба, чем он сам.
Чем жестче мы контролируем модель, тем больше интереса будет привлекать альтернативы с открытым исходным кодом. И Google, и OpenAI приняли защитную модель выпуска, которая позволяет им сохранять жесткий контроль над тем, как используются их модели. Однако этот контроль является вымышленным. Любой, кто хочет использовать LLM в несанкционированных целях, может свободно выбирать свободно доступные модели.
Google должен быть лидером в сообществе открытого исходного кода, беря на себя инициативу, сотрудничая, а не игнорируя более широкий диалог. Это может означать выполнение неудобных шагов, таких как публикация весов моделей для небольших вариантов ULM. Это обязательно означает отказ от некоторого контроля над нашей моделью. Но такие компромиссы неизбежны. Мы не можем надеяться одновременно стимулировать инновации и контролировать их.
10
Вывод: Каким должно быть отношение к OpenAI?
Все эти разговоры об открытом исходном коде могут показаться несправедливыми, учитывая текущую закрытую политику OpenAI. Если они не хотят делиться, почему мы должны делиться? Но правда в том, что мы поделились с ними всем из-за постоянного оттока старших научных сотрудников. Секретность бессмысленна, пока мы не остановим эту утечку.
Бэббит Парк открыт для сотрудничества!
Китайский Твиттер: https://twitter.com/8BTC_OFFICIAL
Английский Твиттер: https://twitter.com/btcinchina
Дискорд-сообщество: https://discord.gg/defidao
Telegram-канал: https://t.me/Mute_8btc
Сообщество Telegram: https://t.me/news_8btc
