点击下方卡片,关注“CVer”公众号
AI/CV重磅干货,第一时间送达
在CVer微信公众号后台回复:FaceChain,可以下载本论文pdf和代码
本文简要介绍最新arxiv文章 “FaceChain: A Playground for Identity-Preserving Portrait Generation”。在AIGC的实际应用中,往往会遇到真人生成不好的case。更困难的是无法指定生成给定ID的人物图像,无论是SD还是mj在这方面的鲁棒性都不好,这几乎是AIGC中公认的难题之一。为了克服保ID人物AIGC的技术难题,FaceChain文章提出了相应数字孪生的技术框架,该框架可以兼容SD1.5的风格lora生态,能让相应的风格plugin进来生成指定ID的个人写真图片。该应用已在github开源,目前1个月内star数近5K,FaceChain的热度已触达国内外的用户与AIGC的创业者群体。
一、资料
在CVer微信公众号后台回复:FaceChain,可以下载本论文pdf和代码
FaceChain:A Playground for Identity-Preserving Portrait Generation
论文:https://arxiv.org/abs/2308.14256
代码(已开源):
https://github.com/modelscope/facechain
二、背景
近期图像生成技术取得了突飞猛进的发展。这得益于StableDiffusion技术,它使用深度学习算法来生成具有高质量、稳定性的图像和视频。与传统的图像生成技术不同,Stable Diffusion能够在生成图像和视频时保持图像和视频的稳定性,避免出现闪烁和抖动等现象。这种技术通常用于设计、虚拟现实、视频游戏等领域。虽然Stable Diffusion是一种部分条件可控的技术。它的生成过程可以由用户根据特定的prompt进行控制,这种可控性使得Stable Diffusion能够更加灵活地应用于不同的场景。但在指定ID人像生成方面,它往往不尽如人意,无法生成用户指定ID的人像图生成,这很大程度上限制了相应的学术跟应用的发展。
三、方法
框架图如下图所示:
从该框架图中,我们可以看到目前该框架的巨大优势在于其可以使用SD1.5生态中的各种现有的stylelora model来做风格的尝试。该FaceChain保人物ID的AIGC技术框架可用于非常多的有趣应用的探索,比如虚拟试衣、人物插画故事、talking head、人物视频、人物表情包等等。目前该开源项目正在高速发展的阶段,短短一个月已经有213次的commit,近期也更新了非常多的feature,比如:1.)支持pose control、2.)风格lora即插即用、3.)自定义prompt换衣、4.)支持指定模版inpainting(beta版本,暂时效果不佳)等。接下来还会继续支持:1.)SDXL、2.)高清分辨率、3.)多人场景、4.)应用界面简化、美化、5.)兼容windows等。
四、结果
以下是部分结果展示:
更多结果的长期跟踪,见如下链接:
https://www.xiaohongshu.com/user/profile/5c0f2d43000000000701e3dc?xhsshare=CopyLink&appuid=5c0f2d43000000000701e3dc&apptime=1693992641
在CVer微信公众号后台回复:FaceChain,可以下载本论文pdf和代码
ICCV / CVPR 2023论文和代码下载
后台回复:CVPR2023,即可下载CVPR 2023论文和代码开源的论文合集
后台回复:ICCV2023,即可下载ICCV 2023论文和代码开源的论文合集
目标检测和Transformer交流群成立
扫描下方二维码,或者添加微信:CVer333,即可添加CVer小助手微信,便可申请加入CVer-目标检测或者Transformer 微信交流群。另外其他垂直方向已涵盖:目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF等。
一定要备注:研究方向+地点+学校/公司+昵称(如目标检测或者Transformer+上海+上交+卡卡),根据格式备注,可更快被通过且邀请进群
▲扫码或加微信号: CVer333,进交流群
CVer计算机视觉(知识星球)来了!想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料,欢迎扫描下方二维码,加入CVer计算机视觉,已汇集数千人!
▲扫码进星球
▲点击上方卡片,关注CVer公众号
整理不易,请点赞和在看