深度学习实战22(进阶版)-AI漫画视频生成模型，做自己的漫画视频

大家好，我是微学AI，今天给大家带来深度学习实战22(进阶版)-AI漫画视频生成模型。

回顾之前给大家介绍了《深度学习实战8-生活照片转化漫画照片应用》，今天我借助这篇文章的原理做一个AI漫画视频生成的功能，让我们进入AI生成视频的时代吧。

AI生成视频是利用人工智能技术生成视频的过程，通常，这种技术基于图像识别、语音合成等算法，从各种不同来源的数据中获取信息，然后自动生成视频。 AI生成视频技术的优势是可以快速生成高质量视频，同时还可以自动完成各种冗长的编辑工作，提高工作效率。此外，还可以实现一些人类不可能完成的任务，例如在极端天气、危险环境下进行拍摄。

目前，AI生成视频技术主要应用于视频广告、教育教学、虚拟演示，短视频等领域。虽然这种技术正在不断发展，但其缺点是不具有人类的创造性和情感体验。因此，目前的技术仍无法替代人类在视频制作中的重要作用。

一、AI生成漫画视频

本项目里面采用原有视频转化为漫画视频，首先先将视频分割成一帧一帧的图片，然后将图片转化为漫画形式，在进行合成视频，这里运用imageio技术。

imageio是Python中用于处理图像和视频的第三方库，其中的get_writer函数用于创建图像或视频的写入器（writer）对象。 get_writer函数接收一个参数，即输出文件的路径或文件对象，如下：

import imageio # 输出文件的路径 
writer = imageio.get_writer('output.mp4') # 输出文件的文件对象 
with open('output.mp4', mode='wb') as file: 
     writer = imageio.get_writer(file, format='mp4')

在调用get_writer函数后，我们可以使用writer对象将图像或视频写入输出文件。

import numpy as np 
import imageio 

# 创建一个数组作为图像数据 
image_data = np.zeros((256, 256, 3), dtype=np.uint8) 

# 获取写入器对象 
writer = imageio.get_writer('output.mp4') # 写入帧 
for i in range(30): 
     writer.append_data(image_data) 

# 关闭写入器对象 
writer.close()

上面我们创建了一个256x256大小的黑色图像，并使用get_writer函数创建了名为output.mp4的视频写入器对象。接着，在一个循环中，我们将同样的图像数据重复写入帧中，并最终关闭写入器对象。需要注意的是，imageio支持许多不同的视频和图像格式和编解码器。

二、AI生成漫画视频代码案例

import os
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '3'
import imageio
from modelscope.outputs import OutputKeys
from modelscope.pipelines import pipeline
from tqdm import tqdm
import numpy as np
import cv2
from PIL import Image
import os

def video2cartoon(filepath):

    outpath = 'output2.mp4'

    reader = imageio.get_reader(filepath)
    fps = reader.get_meta_data()['fps']
    writer = imageio.get_writer(outpath, mode='I', fps=fps, codec='libx264')

    model_name = 'damo/cv_unet_person-image-cartoon_compound-models'
    img_cartoon = pipeline('image-portrait-stylization', model=model_name,device='cpu')

    for i, img in tqdm(enumerate(reader)):
        try:
            cv2.imwrite(f'result{i}.png',img)
            img = Image.open(f'result{i}.png')
            new_size = (1050,590)
            img = img.resize(new_size) # 保存修改后的图片
            result = img_cartoon(img)
            res = result[OutputKeys.OUTPUT_IMG]
            writer.append_data(res[..., ::-1].astype(np.uint8))
            os.remove(f'result{i}.png')
            print(i)
        except:
            pass

    writer.close()
    print('finished!')

    return outpath

video2cartoon('video.mp4')

输出结果：