视频卡通化技术路线

神经风格迁移：用深度神经网络生成风格化图像，通过捕获到的图像中的内容表征对输出图像做约束，就是输入图像和目标图像通过vgg提取的特征做约束。

GAN图像翻译：Image-to-image translation，主要基于conditional GAN，需要源域和目标域图像，学习两个域之间的转换，需要成对数据。cyclegan不需要成对数据。卡通画人物本质是photo-to-cartoon的translation，源域是真实照片，目标域是卡通图像。

基于预训练生成模型：本身从噪声生成一张图像，如果希望对特定的内容进行生成，需要加入内容的条件控制，主要包括stylegan和diffusion model。stylegan能够基于噪声z，利用生成器生成模拟现实域的真实人脸图像，通过transfer learning少量的卡通样本，可以对模型进行迁移学习，从而适配到卡通域，模型进过adaption之后能够生成卡通样本。

Image Cartoonization

1.GAN系列

CartoonGAN

https://github.com/Yijunmaverick/CartoonGAN-Test-Pytorch-Torchhttps://github.com/Yijunmaverick/CartoonGAN-Test-Pytorch-TorchAnimeGANv1/v2/v3

GitHub - TachibanaYoshino/AnimeGANv2: [Open Source]. The improved version of AnimeGAN. Landscape photos/videos to anime[Open Source]. The improved version of AnimeGAN. Landscape photos/videos to anime - GitHub - TachibanaYoshino/AnimeGANv2: [Open Source]. The improved version of AnimeGAN. Landscape photos/videos to animehttps://github.com/TachibanaYoshino/AnimeGANv2

White-box-cartoonization

https://github.com/SystemErrorWang/White-box-Cartoonization/https://github.com/SystemErrorWang/White-box-Cartoonization/GAN-based multi-style photo cartoonization

​清华大学提出基于生成对抗神经网络的自然图像多风格卡通化方法并开源代码 - 知乎作者：让你更懂AI，来自 对抗神经网络风格卡通化欢迎关注 @机器学习社区 ，专注学术论文、机器学习、人工智能、Python技巧近日，清华大学刘永进教授课题组在 IEEE Transactions on Visualization and Computer Gra…https://zhuanlan.zhihu.com/p/458618368

2.stable diffusion webui逐帧风格化

ControlNet 批量处理序列帧 生成3D卡通风格动画 操作细节_哔哩哔哩_bilibiliControlNet 批量处理序列帧 生成3D卡通风格动画 操作细节, 视频播放量 4589、弹幕量 1、点赞数 127、投硬币枚数 42、收藏人数 359、转发人数 23, 视频作者 坏心眼猫特效, 作者简介 微信公众号：BADCAT探索者 粉丝群: SD粉丝群，相关视频：【NovelAI】月产10000+全自动批量原创小说短视频，【教程】StableDiffusion落地应用-精准控制三视图/四视图生成，【Stable Diffusion】使用Control Net重绘功能生成盲盒风格图像实例，Ai手绘特效序列帧上色测试，10000张【特效序列帧】资源分享，【零基础】如何制作像素画动图的精灵表和序列帧动画,并导入到Unity使用,游戏美术教程，stable diffusion卡通盲盒手办自由，【Stable Diffusion】表情控制 | 脸部控制 | ControlNet 1.1 | openpose_face，2分钟教你PR把序列帧图片转成视频，Stable Diffusion照片变卡通https://www.bilibili.com/video/BV1dk4y177Zg/?spm_id_from=333.337.search-card.all.click&vd_source=4aed82e35f26bb600bc5b46e65e25c22基于stable-diffusion的视频生成，instruct-video

mov2mov

人像卡通动漫化

Portrait Stylization

DCT-Net

DCT-Net工业级轻量化人像漫画_Kun Li的博客-CSDN博客在内容矫正模块上，Gs是一个生成网络，Gt是一个风格迁移网络，ccn对这两个域的图片进行监督，有了ccn之后，就可以通过在隐空间采样获得很多的风格图片，但是目前得到的目标域在几何上时需要对齐的，通过一个几何扩展模块，提高鲁棒性，ttn是一个gan架构，生成器的监督信息是风格图片，unpair的。是图像翻译任务，source是真实图片数据，target是人像卡通图片，前者好获取，后者不好获取，source是丰富的，target是较小的，会有小样本偏置，先校准再翻译，使用校准之后的目标域和源域对应。https://blog.csdn.net/u012193416/article/details/130040797?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522168956031416800225551078%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fblog.%2522%257D&request_id=168956031416800225551078&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~blog~first_rank_ecpm_v1~rank_v31_ecpm-1-130040797-null-null.268^v1^koosearch&utm_term=dct-net&spm=1018.2226.3001.4450

VToonify：Controllable High-resolution portrait video style transfer

GitHub - williamyang1991/VToonify: [SIGGRAPH Asia 2022] VToonify: Controllable High-Resolution Portrait Video Style Transfer[SIGGRAPH Asia 2022] VToonify: Controllable High-Resolution Portrait Video Style Transfer - GitHub - williamyang1991/VToonify: [SIGGRAPH Asia 2022] VToonify: Controllable High-Resolution Portrait Video Style Transferhttps://github.com/williamyang1991/VToonifyphoto2cartoon

https://github.com/minivision-ai/photo2cartoonhttps://github.com/minivision-ai/photo2cartoon