CV — Компьютерное зрение | ML — Машинное обучение | RL — Обучение с подкреплением | NLP Обработка естественного языка
Темы: cs.CV
1. HACK: изучение параметрической модели головы и шеи для высококачественной анимации
Название: HACK: Изучение параметрических моделей головы и шеи для высококачественной анимации
Авторы: Лунвэнь Чжан, Цзыцзюнь Чжао, Синьчжоу Цун, Цисюань Чжан, Шуци Гу, Ючун Гао, Руй Чжэн, Вэй Ян, Лань Сюй, Цзинъи Юй
Ссылка на статью: https://arxiv.org/abs/2305.04469
Код проекта: https://github.com/ZoneLikeWonderland/HACK-Model
Краткое содержание:
Значительный прогресс был достигнут в разработке параметрических моделей цифровых людей с различными подходами, ориентированными на такие части, как человеческое тело, руки или лицо. Однако в этих моделях такие разъемы, как шейка, игнорируются, а обширные предшествующие анатомические знания часто не используются. В этой статье мы представляем HACK (Head-And-neCK), новую параметрическую модель для построения цифровых областей головы и шеи человека. Наши модели пытаются разблокировать весь спектр движений шеи и горла, выражений лица и изменений внешности, обеспечивая персонализированный и анатомически последовательный контроль, особенно в области шеи. Чтобы построить нашу модель HACK, мы получаем комплексный мультимодальный набор данных о голове и шее при различных выражениях лица. Мы использовали протокол 3D-УЗИ для извлечения точной трехмерной информации о вращении внутренних биомеханических структур, а именно семи позвонков шейного отдела позвоночника. Затем мы используем многоракурсную фотометрию для захвата геометрии и физических текстур различных объектов, демонстрирующих различные статические выражения, а также непрерывные движения головы и шеи. Используя мультимодальный набор данных, мы обучаем параметрическую модель HACK, разделяя 3D-изображения головы и шеи от нейтральных выражений и оставшихся скелетных поз на различные формы, позы, выражения и смешанные формы гортани. Мы использовали анатомически согласованный скелетный дизайн для области шеи и связали выражения с единицами лицевых движений для удобного управления художником. HACK рассматривает голову и шею как единое целое, обеспечивая более точное и выразительное управление с большей реалистичностью, особенно в области шеи. Этот подход имеет значительные преимущества для многочисленных приложений и поддерживает корреляционный анализ головы и шеи для мелкозернистого синтеза и передачи движения.
Предметы: cs.CL
2. Языковые модели могут генерировать молекулы, материалы и сайты связывания белков непосредственно в трех измерениях в виде файлов XYZ, CIF и PDB.
Название: Языковые модели могут генерировать молекулы, материалы и сайты связывания белков непосредственно в трех измерениях в виде файлов XYZ, CIF и PDB
Авторы и права: Дэниел Флам-Шепард, Алан Аспуру-Гузик
Ссылка на статью: https://arxiv.org/abs/2305.05708
Краткое содержание:
Языковые модели — мощные инструменты молекулярного дизайна. В настоящее время доминирующей парадигмой является преобразование молекулярных графов в представления линейных строк, которые можно легко обучить. Этот подход оказался очень успешным, однако он ограничен химическими структурами, которые могут быть полностью представлены схематически, такими как органические молекулы, в то время как материалы и биомолекулярные структуры, такие как сайты связывания белков, требуют более полного представления, включая их относительное расположение в пространстве. атомов. В этой работе мы покажем, как можно обучать языковые модели с помощью предсказания следующего токена без каких-либо архитектурных модификаций — как создавать новую и эффективную структуру. В частности, мы демонстрируем, что языковые модели, обученные непосредственно последовательностям, полученным непосредственно из форматов химических файлов, таких как файлы XYZ, файлы информации о кристаллах (CIF) или файлы базы данных белков (PDB), могут напрямую генерировать три молекулы, кристаллы и сайт связывания белков. Кроме того, несмотря на обучение на последовательностях химических файлов, производительность языковой модели сравнима с современными моделями, использующими графы и строковые представления на основе графов, а также с другими трехмерными генеративными моделями, специфичными для предметной области. При этом мы демонстрируем, что нет необходимости использовать упрощенные молекулярные представления для обучения моделей химического языка — это мощные генеративные модели, способные непосредственно исследовать химические пространства очень разных структур в трех измерениях.
3.MEGABYTE: предсказание последовательностей размером в миллион байт с помощью многомасштабных преобразователей
Название: MEGABYTE: прогнозирование последовательностей мегабайтов с помощью многомасштабных преобразователей
Лили Ю, Дэниэл Симиг, Колин Флаэрти, Армен Агаджанян, Люк Зеттлемойер, Майк Льюис
Ссылка на статью: https://arxiv.org/abs/2305.07185
Код проекта: https://huggingface.co/papers/2305.07185
Дополнительная информация об Ай: Принцесса АйЧарм