Как только вышел Google StyleDrop, он моментально заполонил Интернет.
Учитывая звездное небо Ван Гога, ИИ воплощается как Мастер Ван Гог, и после понимания этого абстрактного стиля на высшем уровне он создал бесчисленное количество подобных картин.
Еще один мультяшный стиль, объекты, которые я хочу нарисовать, намного симпатичнее.
Даже он может точно контролировать детали и создавать оригинальный стиль логотипа.
Прелесть StyleDrop в том, что в качестве референса нужна только одна картинка, какой бы сложный художественный стиль ни был, его можно разобрать и воспроизвести.
Пользователи сети говорят, что это инструмент искусственного интеллекта, который устраняет дизайнеров.
Взрывное исследование StyleDrop — это последний продукт исследовательской группы Google.
Адрес статьи: https://arxiv.org/pdf/2306.00983.pdf
Теперь с такими инструментами, как StyleDrop, вы можете не только рисовать с большим контролем, но и выполнять ранее невообразимую тонкую работу, например рисовать логотип.
Даже ученые Nvidia назвали это «феноменальным» результатом.
Мастер настройки
Автор статьи сообщил, что источником вдохновения для StyleDrop послужила Eyedropper (инструмент для поглощения/выбора цвета).
Точно так же StyleDrop также надеется, что вы сможете быстро и без усилий «выбрать» стиль из одного или нескольких эталонных изображений, чтобы создать изображение этого стиля.
У ленивца может быть 18 стилей:
У панды 24 стиля:
Акварель, нарисованная детьми, отлично контролировалась StyleDrop, и даже морщины на бумаге были восстановлены.
Должен сказать, это слишком сильно.
Также есть StyleDrop, относящийся к оформлению английских букв в разных стилях:
То же самое письмо стиля Ван Гога.
Есть и линейные рисунки. Штриховой рисунок представляет собой высокий уровень абстракции изображений, и к нему предъявляются очень высокие требования к рациональности композиции экранной генерации.Прошлые методы были трудновыполнимы.
Штрихи сырной тени на исходном изображении восстанавливаются для объектов на каждом изображении.
См. Создание логотипа Android.
Кроме того, исследователи также расширили возможности StyleDrop не только для настройки стиля в сочетании с DreamBooth, но и для настройки контента.
Например, еще в стиле Ван Гога сгенерируйте подобный стиль рисования для корги:
Вот еще один, корги внизу имеет ощущение «Сфинкса» на египетской пирамиде.
как работать?
StyleDrop построен на основе Muse и состоит из двух ключевых частей:
Один из них — эффективная тонкая настройка параметров сгенерированного визуального преобразователя, а другой — итеративное обучение с обратной связью.
После этого исследователи синтезировали изображения из двух точно настроенных моделей.
Muse — это современная модель синтеза текста в изображение, основанная на преобразователе изображений, сгенерированном по маске. Он содержит два модуля синтеза для генерации базового изображения (256 × 256) и сверхвысокого разрешения (512 × 512 или 1024 × 1024).
Каждый модуль состоит из кодировщика текста T, преобразователя G, сэмплера S, кодировщика изображений E и декодера D.
T отображает текстовые подсказки t ∈ T в непрерывное пространство вложения E. G обрабатывает вложения текста e ∈ E для генерации логарифмов l ∈ L последовательностей визуальных токенов. S извлекает последовательность визуальных маркеров v ∈ V из логарифма с помощью итеративного декодирования, которое выполняет несколько шагов вывода преобразователя, обусловленного текстовым вложением e и визуальными маркерами, декодированными на предыдущих шагах.
Наконец, D отображает дискретную последовательность токенов в пространство пикселей I. В общем, при наличии текстовой подсказки t изображение I синтезируется следующим образом:
На рис. 2 представлена упрощенная архитектура уровня преобразователя Muse, которая была частично изменена для поддержки эффективной точной настройки параметров (PEFT) и адаптеров.
Последовательность визуальных токенов, показанных зеленым цветом, обусловленная встраиванием текста e, обрабатывается с помощью преобразователя L-слоя. Изученные параметры θ используются для построения весов для настройки адаптера.
Для обучения θ во многих случаях исследователям могут быть предоставлены только изображения в качестве эталонов стиля.
Исследователям необходимо вручную прикреплять текстовые подсказки. Они предлагают простой шаблонный подход к созданию текстовых подсказок, состоящих из описания содержимого, за которым следует фраза, описывающая стиль.
Например, исследователи описывают объект словом «кошка» в таблице 1 и добавляют «акварельную живопись» в качестве описания стиля.
Включение описания содержания и стиля в текстовые подсказки имеет решающее значение, поскольку помогает отделить содержание от стиля, что является основной целью исследователей.
На рис. 3 показано итеративное обучение с обратной связью.
При обучении на одном эталонном изображении стиля (оранжевая рамка) некоторые изображения, сгенерированные StyleDrop, могут отображать содержимое, извлеченное из эталонного изображения стиля (красная рамка, изображение с домом, похожее на изображение стиля на заднем плане).
Другие изображения (синие прямоугольники) лучше отделяют стиль от содержания. Итеративное обучение StyleDrop на хороших примерах (синие прямоугольники) приводит к лучшему балансу между стилем и точностью текста (зеленые прямоугольники).
Здесь исследователи также использовали два метода:
-CLIP оценка
Этот метод используется для измерения выравнивания изображений и текста. Следовательно, он может оценивать качество сгенерированных изображений путем измерения показателя CLIP (т. е. косинусного сходства визуальных и текстовых вложений CLIP).
Исследователи могут выбрать изображение CLIP с наивысшим баллом. Они называют этот метод итеративным обучением с обратной связью CLIP (CF).
В ходе экспериментов исследователи обнаружили, что использование оценки CLIP для оценки качества синтетических изображений является эффективным способом улучшить запоминание (то есть точность текста) без слишком большой потери точности стиля.
Однако, с другой стороны, оценки CLIP могут не полностью соответствовать человеческим намерениям и не отражать тонкие стилистические атрибуты.
-ВЧ
Человеческая обратная связь (HF) — это более простой способ прямого внедрения намерений пользователя в синтетическую оценку качества изображения.
HF доказал свою мощь и эффективность в тонкой настройке LLM для обучения с подкреплением.
HF можно использовать для компенсации неспособности оценок CLIP фиксировать тонкие стилистические атрибуты.
В настоящее время большое количество исследований сосредоточено на проблеме персонализации моделей диффузии текста в изображение для синтеза изображений, содержащих несколько личных стилей.
Исследователи показали, как простым способом объединить DreamBooth и StyleDrop, что позволяет персонализировать как стиль, так и контент.
Это делается путем выборки из двух модифицированных генеративных распределений, руководствуясь θs для стиля и θc для контента, соответственно, параметры адаптера обучаются независимо от эталонных изображений стиля и контента.
В отличие от существующих готовых продуктов, командный подход не требует совместного обучения обучаемых параметров на нескольких концепциях, что приводит к большей комбинаторной мощности, поскольку предварительно обученные адаптеры отдельно обучаются одной теме и стилю обучения.
Общий процесс выборки исследователей следует итеративному декодированию уравнения (1), при этом логарифмы выбираются по-разному на каждом этапе декодирования.
Пусть t — текстовая подсказка, а c — текстовая подсказка без дескриптора стиля, а логарифм вычисляется на шаге k следующим образом:
Где: γ используется для балансировки StyleDrop и DreamBooth — если γ равно 0, мы получаем StyleDrop, если γ равно 1, мы получаем DreamBooth.
Установив разумно γ, мы можем получить подходящее изображение.
настройки эксперимента
До сих пор не было проведено никаких обширных исследований по настройке стиля для генеративных моделей преобразования текста в изображение.
Поэтому исследователи предложили новый экспериментальный протокол:
-Сбор данных
Исследователи собрали десятки изображений в разных стилях, начиная от акварельных и масляных картин, плоских иллюстраций, 3D-рендеринга и заканчивая скульптурами из разных материалов.
-конфигурация модели
Исследователи настроили StyleDrop на базе Muse с помощью адаптеров. Для всех экспериментов веса адаптера обновлялись для 1000 шагов с использованием оптимизатора Adam со скоростью обучения 0,00003. Если не указано иное, исследователи используют StyleDrop для обозначения модели второго этапа, обученной на более чем 10 синтетических изображениях с обратной связью от человека.
-Оценивать
Количественная оценка отчетов об исследованиях основана на CLIP, который измеряет стилистическую согласованность и выравнивание текста. Кроме того, исследователи провели исследование предпочтений пользователей, чтобы оценить согласованность стиля и выравнивание текста.
Как показано на рисунке, 18 изображений разных стилей, собранных исследователями, являются результатом обработки StyleDrop.
Как видите, StyleDrop способен улавливать нюансы текстуры, оттенка и структуры в различных стилях, обеспечивая больший контроль над стилем, чем раньше.
Для сравнения исследователи также представляют результаты DreamBooth на Imagen, реализацию DreamBooth LoRA на Stable Diffusion и результаты инверсии текста.
Конкретные результаты показаны в таблице, индикаторы оценки человеческой оценки (вверху) и оценки CLIP (внизу) выравнивания изображения и текста (Текст) и выравнивания визуального стиля (Стиль).
Качественное сравнение (а) DreamBooth, (б) StyleDrop и (в) DreamBooth + StyleDrop:
Здесь исследователи применили две упомянутые выше метрики оценки CLIP — оценки текста и стиля.
Для оценки текста исследователи измеряют косинусное сходство между встраиванием изображения и текста. Для оценки стиля исследователи измеряют косинусное сходство между ссылкой на стиль и встраиванием синтетического изображения.
Исследователи создали в общей сложности 1520 изображений для 190 текстовых реплик. Хотя исследователи надеялись, что итоговый балл будет выше, на самом деле эти показатели не идеальны.
А итеративное обучение (ИТ) улучшает оценку текста, что соответствует цели исследователей.
Однако в качестве компромисса они страдают от снижения оценок стиля на моделях первого прохода, поскольку они обучаются на синтетических изображениях, где стили могут быть смещены из-за предвзятости выбора.
DreamBooth на Imagen уступает StyleDrop по показателю стиля (0,644 против 0,694 для HF).
Исследователи заметили, что увеличение оценки стиля DreamBooth на Imagen было незначительным (0,569 → 0,644), в то время как увеличение StyleDrop на Muse было более очевидным (0,556 → 0,694).
Исследователи проанализировали, что тонкая настройка стиля в Muse более эффективна, чем в Imagen.
Кроме того, для точного управления StyleDrop фиксирует тонкие стилистические различия, такие как изменение цвета, слои или острые углы.
Горячие комментарии пользователей сети.
Если у дизайнеров есть StyleDrop, эффективность работы уже увеличилась в 10 раз.
Один день в ИИ, 10 лет в мире, AIGC развивается со скоростью света, скоростью света, которая ослепляет людей!
Инструменты просто следуют за тенденцией, а то, что должно быть устранено, уже устранено.
Этот инструмент намного лучше, чем Midjourney для создания логотипа.
Использованная литература:
https://styledrop.github.io/
Бэббит Парк открыт для сотрудничества!
Китайский Твиттер: https://twitter.com/8BTC_OFFICIAL
Английский Твиттер: https://twitter.com/btcinchina
Дискорд-сообщество: https://discord.gg/defidao
Telegram-канал: https://t.me/Mute_8btc
Сообщество Telegram: https://t.me/news_8btc
