гид
Появление ChatGPT привлекло большое внимание, но мы не должны забывать неизвестного гения, стоящего за ним. Илья Суцкевер — соучредитель и главный научный сотрудник OpenAI. Именно под его руководством OpenAI добилась значительного прогресса в разработке передовых технологий и продвижении области искусственного интеллекта.
В этой статье мы исследуем, как Суцкевер за два десятилетия прошел путь от молодого исследователя до одной из ведущих фигур в области искусственного интеллекта. Независимо от того, являетесь ли вы энтузиастом ИИ, исследователем или просто тем, кто интересуется внутренней работой этой области, этот пост предоставит ценную точку зрения и информацию.
Эта статья составлена с https://journeymatters.ai/ilya-the-brain-behind-chatgpt/
Автор/Муниш Ганди
Источник/Сообщество Чжиюань
Сборник / Ню Мэнлин, Ли Мэнцзя
Эта статья следует следующей временной шкале:
2003: Ученичество Ильи Суцкевера
2011: Первое знакомство с AGI
2012: Революция в распознавании изображений
2013: Продали DNNresearch компании Google с аукциона
2014: Революция в языковом переводе
2015: От Google к OpenAI: новая глава в искусственном интеллекте
2018: GPT 1, 2 и 3
2021: Разработка ДАЛЛ-Э 1
2022: Представляем миру ChatGPT
Ilya Sutskever
Соучредитель и главный научный сотрудник OpenAI, окончил Университет Торонто в 2005 году и получил степень доктора технических наук в 2012 году. С 2012 года он последовательно работал в Стэнфордском университете, DNNResearch и Google Brain, занимаясь машинным обучением и исследованиями, связанными с глубоким обучением, а в 2015 году он отказался от своей высокооплачиваемой должности в Google и совместно с Грегом Брокманом и Грегом Брокманом создал OpenAI. другие, ведущие в OpenAI Исследования и разработка моделей серий GPT-1, 2, 3 и DALLE. В 2022 году он был избран членом Королевского научного общества. Пионер в области искусственного интеллекта, он сыграл важную роль в формировании современного ландшафта искусственного интеллекта и продолжает раздвигать границы возможного в машинном обучении. Его страсть к искусственному интеллекту повлияла на его новаторские исследования, которые повлияли на развитие области глубокого обучения и машинного обучения.
2003:
Первые впечатления от Ильи Суцкевера
Суцкевер: Я не понимаю, Хинтон: Почему я не понимаю, Суцкевер: Люди тренируют нейронные сети для решения задач, а когда люди хотят решать другие задачи, им приходится снова начинать обучение с другой нейронной сетью. Но я считаю, что у людей должна быть нейросеть, которая может решить все проблемы.
Будучи студентом Университета Торонто, Суцкевер хотел присоединиться к лаборатории глубокого обучения профессора Джеффри Хинтона. Итак, однажды он постучал в дверь кабинета профессора Хинтона и спросил, может ли он присоединиться к лаборатории. Профессор попросил его записаться на прием заранее, но Суцкевер не хотел больше терять время и сразу спросил: «А сейчас?»
Понимая, что Суцкевер был прилежным учеником, Хинтон дал ему прочитать две работы. Через неделю Суцкевер вернулся в кабинет профессора и сказал профессору, что не понимает.
- Почему ты не понимаешь? - спросил профессор.
Суцкевер объяснил: «Люди тренируют нейронные сети для решения задач, а когда они хотят решать другие задачи, им приходится снова начинать обучение с другой нейронной сетью. Но я думаю, что у людей должна быть одна нейронная сеть, которая может решить все проблемы».
Этот отрывок продемонстрировал уникальную способность Суцкевера делать выводы, на открытие которых даже опытным исследователям потребуются годы, и Хинтон пригласил присоединиться к его лаборатории.
2011: Первое знакомство с AGI
Суцкевер: Я не согласен с идеей (AGI)
Когда Суцкевер еще учился в Университете Торонто, он прилетел в Лондон, чтобы найти работу в DeepMind. Там он познакомился с Демисом Хассабисом и Шейном Леггом (соучредителями DeepMind), которые создавали AGI (Искусственный общий интеллект). ОИИ — это общий искусственный интеллект, способный думать и рассуждать, как люди, и выполнять различные задачи, связанные с человеческим интеллектом, такие как понимание естественного языка, обучение на опыте, принятие решений и решение проблем.
В то время об ОИИ не говорили серьезные исследователи. Суцкевер также думал, что они потеряли связь с реальностью, поэтому он отказался от работы, вернулся в колледж и в конце концов присоединился к Google в 2013 году.
2012: Революция в распознавании изображений
Победитель конкурса ImageNet
У Джеффри Хинтона есть видение, позволяющее верить в глубокое обучение, когда другие не верят. И он твердо верит, что победа в конкурсе ImageNet решит спор раз и навсегда.
Конкурс ImageNet: Лаборатория Стэнфордского университета ежегодно проводит конкурс ImageNet. Они предоставили участникам обширную базу данных тщательно промаркированных фотографий, и исследователи со всего мира соревновались в попытке создать систему, которая могла бы распознавать большинство изображений.
В конкурсе приняли участие двое учеников Хинтона, Илья Суцкевер и Алексей Крижевский. Они сломали традиционную схему ручного проектирования, внедрили глубокую нейронную сеть и преодолели отметку точности в 75%. Так они выиграли конкурс ImageNet, а их система позже была названа AlexNet.
С тех пор область распознавания изображений приобрела новый вид.
Позже Суцкевер, Крижевский и Хинтон опубликовали статью на AlexNet, которая стала одной из самых цитируемых статей в области компьютерных наук, которую другие исследователи цитировали более 60 000 раз.
2013: Продали DNNresearch компании Google с аукциона
Суцкевер и Крижевский: Вы заслуживаете большего процента дивидендов. Хинтон: Ты даешь мне слишком много денег. Суцкевер&Крижевский: Но мы уже решили отдать вам инициативу. Хинтон: Это показывает их характер.
Хинтон вместе с Суцкевером и Крижевским основали новую компанию под названием DNNresearch. У них нет никаких продуктов, и они не планируют создавать их в будущем.
Хинтон спросил юриста, как максимизировать стоимость его новой компании, несмотря на то, что в настоящее время в ней работает всего три сотрудника и у нее нет ни продукта, ни наследия. Один из вариантов, предложенных ему адвокатом, заключался в том, чтобы организовать аукцион. В приобретении участвовали четыре компании: Baidu, Google, Microsoft и DeepMind (тогда молодой стартап в Лондоне). Первым ушел DeepMind, за ним последовал Microsoft, и, наконец, конкурировать остались только Baidu и Google.
Однажды около полуночи, когда аукционная цена превысила 44 миллиона долларов, Хинтон приостановил торги и пошел спать. На следующий день он объявил, что аукцион окончен, и продал свою компанию Google за 44 миллиона долларов, решив, что важнее найти подходящий «дом» для своих исследований. При этом Хинтон, как и его ученики, ставит свои идеи выше финансовой выгоды.
Когда пришло время делить выручку, Суцкевер и Крижевский настаивали на том, что Хинтон заслуживает большей доли (40%), хотя Хинтон и предлагал им немного поспать. На следующий день они все же настояли на этой раздаче. Позже Хинтон прокомментировал: «Это говорит о том, кто они, а не обо мне».
После этого Суцкевер стал ученым-исследователем в Google Brain, и его идеи изменились еще больше, и постепенно стали согласовываться с идеями основателей DeepMind. Он начал верить, что будущее ОИИ уже не за горами. Конечно, сам Суцкевер никогда не боялся передумать перед лицом новой информации или опыта. В конце концов, вера в ОИИ требует прыжка веры , как сказал о Суцкевере Сергей Левин (коллега Суцкевера в Google): «Он человек, который не боится «верить»».
2014: Революция в языковом переводе
Суцкевер: Правильный вывод — если у вас очень большой набор данных и очень большая нейросеть, то успех неизбежен. (лучший переводчик)
После приобретения DNNResearch Google нанял Суцкевера в качестве научного сотрудника Google Brain.
Работая в Google, Суцкевер изобрел вариант нейронной сети, которая могла переводить английский язык на французский. Он предложил «Обучение от последовательности к последовательности» (Sequence to Sequence Learning), которое может фиксировать структуру последовательности входных данных (например, английских предложений) и отображать ее на выходе (например, французские предложения), которые также имеют структуру последовательности.
По его словам, исследователи не верили, что нейронные сети могут переводить, поэтому, когда они это сделали, это стало большим сюрпризом. Его изобретение превзошло самых эффективных переводчиков, значительно улучшив Google Translate. Языковой перевод никогда не был прежним.
2015:
От Google к OpenAI: новая глава в искусственном интеллекте
Сэм Альтман и Грег Брокман собрали Суцкевера и девять других исследователей, чтобы посмотреть, возможно ли создать исследовательскую лабораторию с лучшими умами в этой области. Обсуждая лабораторию, которая станет OpenAI, Суцкевер понял, что нашел группу единомышленников, разделяющих его убеждения и стремления.
Брокман пригласил 10 исследователей присоединиться к его лаборатории и дал им три недели на принятие решения. Google узнал об этом и предложил Суцкеверу солидную сумму за то, чтобы он присоединился к ним. Получив отказ, Google увеличил свою зарплату почти до 2 миллионов долларов в первый год, что в два или три раза больше, чем OpenAI собиралась платить ему.
Но Суцкевер с радостью отказался от многомиллионного предложения работы в Google и в конечном итоге стал соучредителем некоммерческой организации OpenAI.
Цель OpenAI — ответственно продвигать искусственный интеллект, используя искусственный интеллект на благо всех.
2018: Разработка GPT 1, 2 и 3
Суцкевер привел OpenAI к изобретению GPT-1, а затем разработал GPT-2, GPT-3 и ChatGPT.
Модель GPT (Generative Pre-trained Transformer) представляет собой серию языковых моделей, основанных на нейронных сетях. Каждое обновление модели GPT — это прорыв в области обработки естественного языка.
GPT-1 (2018 г.) : это первая модель в серии, обученная на крупномасштабном наборе текстовых данных в Интернете. Одним из ключевых нововведений является использование неконтролируемого предварительного обучения, в этом случае модель учится предсказывать слова в предложениях на основе контекста предыдущих слов. Это позволяет модели изучать структуру языка и генерировать человекоподобный текст.
GPT-2 (2019 г.) : Основываясь на успехе GPT-1, он был обучен на большем наборе данных, что привело к созданию более мощной модели. Одним из основных достижений GPT-2 является его способность генерировать связные и плавные отрывки текста по широкому кругу тем, что делает его ключевым игроком в неконтролируемых задачах понимания языка и генерации.
GPT-3 (2020) : GPT-3 — это существенный скачок вперед как по масштабу, так и по производительности. Он был обучен на огромном наборе данных с использованием 175 миллиардов параметров, что намного больше, чем в предыдущих моделях. GPT-3 обеспечивает современную производительность в широком диапазоне языковых задач, таких как ответы на вопросы, машинный перевод и обобщение, с возможностями, близкими к человеческим. Он также продемонстрировал способность выполнять простые задачи кодирования, писать связные новостные статьи и даже создавать стихи.
GPT-4: ожидается появление в ближайшее время, ожидается в 2023 году.
2021: Разработка ДАЛЛ-Э 1
Суцкевер также руководил изобретением OpenAI DALL-E 1, генеративной модели изображений на основе искусственного интеллекта. Он использует ту же архитектуру и процесс обучения, что и модель GPT, но применяется для создания изображений вместо текста.
Многие из современных основных генераторов изображений — DALL-E 2, MidJourney — после DALL-E 1 основаны на аналогичных архитектурах преобразования и обучаются на аналогичных наборах данных изображений и связанных подписях. И DALL-E 2, и MidJourney являются новыми разработками после DALL-E 1.
2022: Представляем миру ChatGPT
30 ноября 2022 года Суцкевер помог запустить ChatGPT, который привлек широкое внимание общественности и вырос до 1 миллиона пользователей всего за 5 дней.
ChatGPT работает, предварительно обучая глубокую нейронную сеть на большом наборе данных текста, а затем настраивая ее для конкретных задач, таких как ответы на вопросы или генерация текста. Это диалоговая система искусственного интеллекта, основанная на языковой модели GPT-3.
Понимание контекста разговора и формирование соответствующего ответа — одна из основных функций ChatGPT. Бот запоминает темы вашего разговора и дает дополнительные ответы на основе предыдущих вопросов и ответов. В отличие от других чат-ботов, которые обычно ограничены предварительно запрограммированными ответами, ChatGPT может генерировать ответы в приложении, обеспечивая более динамичные и разнообразные разговоры.
Илон Маск, один из основателей OpenAI, сказал: «ChatGPT ужасно хорош. Мы недалеко от опасно мощного искусственного интеллекта».
примечание
Страсть Ильи Суцкевера к искусственному интеллекту лежит в основе его новаторских исследований, которые меняют курс в этой области. Его работа в области глубокого обучения и машинного обучения сыграла важную роль в продвижении современного уровня техники и формировании будущего направления в этой области.
Мы также своими глазами видели влияние работы Суцкевера в области ИИ. Он изменил курс на поле и продолжит работать в этом направлении. Несмотря на многочисленные материальные соблазны, Суцкевер решил следовать своей страсти и сосредоточиться на своих исследованиях; его преданность своей работе является образцовой для любого исследователя.
Сегодня мы увидели влияние Суцкевера на наш мир. Очевидно, это только начало.
(над)
Нажмите на картинку ниже, чтобы увидеть больше захватывающих
