点击下方卡片，关注“CVer”公众号
AI/CV重磅干货，第一时间送达
扫码加入CVer知识星球，可以最快学习到最新顶会顶刊上的论文idea和CV从入门到精通资料，以及最前沿项目和应用！发论文，强烈推荐！
在CVer微信公众号后台回复：动起来，即可下载论文pdf和代码链接！快学起来！
对着一张照片随手一刷，就能让戴珍珠耳环的少女朝你微笑，让猩红女巫操纵混沌魔法，让清明上河图动起来，逼真程度不亚于电影大片！近期阿里提出Animate Anything算法，只需要你对画面中的任意对象“涂”一下，再提供一个文本指令，就能让他们根据你的想法动起来，更重要的是，该算法已开源！
人人皆可成为马良，开源代码链接：
https://github.com/alibaba/animate-anything
Animate Anything效果展示
Animate Anything方法介绍
与Runway，Pika，Stable Video Diffusion不同，Animate Anything主打细粒度控制，作者团队致力于如何在保持照片细节的基础上，让照片根据文本指令在指定区域“随心所欲”动起来。
如上图所示，Animate Anything在基础video diffusion模型上引入了motion brush的概念，只有被其圈中的区域才会根据文本指令呈现动态效果。为了实现这样的功能，作者团队基于真实视频合成了大量只含有局部区域变化的视频，在模型训练时将运动区域对应的mask叠加在每帧图像的latent code上来引导模型学习区域控制能力。同时作者团队发现，这种做法的潜在好处是支持一张图像在多个区域的动画合成，从而让一张图像能够组合各式各样的动画效果。为了更好地刻画目标区域的运动速度，Animate Anything设计了motion strength来衡量目标物体在不同时刻的位置差异，作者团队将motion strength编码为向量，作为条件控制注入UNet的残差模块中，在训练时通过帧间差异来使模型具备运动速度的控制能力。
在训练数据上，作者团队对HD-VILA-100M数据集进行镜头切分，清洗过滤出20万个视频片段，通过blip算法为每个片段生成文本描述内容。在模型训练时，保留每一个视频的第一帧的clean latent, 对后续帧的latent上加入噪声，让网络预测出完整视频。更多demo，实现细节及源码可以查看项目主页
https://animationai.github.io/AnimateAnything/
Animate Anything效果对比
与Gen-2，Videocomposer，VideoCraft等方法对比，Animate Anything在保持参考图像的一致性以及运动控制的准确性上展示出了更明显的优势。
具体细节可以查看论文：AnymateAnything: Fine-Grained Open Domain Image Animation with Motion Guidance.
在CVer微信公众号后台回复：动起来，即可下载论文pdf和代码链接！快学起来！
CVPR / ICCV 2023论文和代码下载
后台回复：CVPR2023，即可下载CVPR 2023论文和代码开源的论文合集
后台回复：ICCV2023，即可下载ICCV 2023论文和代码开源的论文合集AIGC 交流群成立
扫描下方二维码，或者添加微信：CVer444，即可添加CVer小助手微信，便可申请加入CVer-AIGC 微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF等。
一定要备注：研究方向+地点+学校/公司+昵称（如AIGC +上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群▲扫码或加微信号: CVer444，进交流群
CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集近万人！
▲扫码加入星球学习▲点击上方卡片，关注CVer公众号