Python - Real-ESRGAN 提高 gif 图像质量

一.引言

前面介绍了使用 Real-ESRGAN 提高图像和视频的质量，本文介绍如何使用 Real-ESRGAN 优化 gif 图像，本质上不管图像、视频还是 gif，其最终的基本单位都是图像帧 frame，所以处理前我们需要将其转换为 mp4 格式。

二.GIF To MP4

from moviepy.editor import VideoFileClip
import os
import subprocess

def gif2mp4(base_path, out):

    for root, dirs, files in os.walk(base_path):
        for filename in files:
            file_path = os.path.join(root, filename)

            # 加载GIF文件
            clip = VideoFileClip(file_path)
            # 输出地址
            output = out + filename.split(".")[0] + ".mp4"
            # 将GIF文件写到MP4文件
            clip.write_videofile(output, fps=clip.fps, codec="libx264")
            # 关闭
            clip.close()

◆ os.walk - 遍历目标路径，批量转换 gif 图到 mp4

◆ clip - 通过 moviepy 组件构造 VideoFileClip 对象

◆ write - 写出 mp4 格式文件，编码指定为 libx264

Tips:

ffmpeg 默认使用 libx264 作为 MP4 文件的视频编码即 codec，libx264 是一个高效的 H.264 视频编码器，该编码器非常流行，因为它能够在良好的视频质量和较小的文件大小之间取得很好的平衡。

三.Real-ESRGAN 强化

#!/bin/bash

model=RealESRGAN_x4plus

base_path="/data2/Real-ESRGAN/tmp_input"

for file in $base_path/*; do
    input_file=`basename $file`
    output=tmp_output
    python inference_realesrgan_video.py -n $model -i $file -o $output --fp32 --face_enhance
done

◆ model - 图像增强用到的模型 pth 名

◆ base_path/* - 遍历目标路径，批量对 mp4 进行 inference

◆ inference - 图像增强

◆ face_enhance - 人物面部增强，如果 gif 图无人脸可忽略

Tips:

除了 face_enhance 参数外，还有模糊因子，缩放等修复参数，有需要可以回看上一篇文章给出的 github 链接的参数解析部分。

四.MP4 To GIF

def mp42gif(base_path, out):

    for root, dirs, files in os.walk(base_path):
        for filename in files:
            file_path = os.path.join(root, filename)

            # 加载GIF文件
            clip = VideoFileClip(file_path)
            # 输出地址
            base_name = filename.split(".")[0].split("_")[0]
            output = out + base_name + ".gif"
            # 设置大小
            ori_clip = VideoFileClip("./gif_temp/" + base_name + ".gif")
            resized_clip = clip.resize(width=ori_clip.w).resize(height=ori_clip.h)
            # 缩放比例
            #resized_clip = clip.resize(0.5)
            # 导出GIF
            resized_clip.write_gif(output, fps=10)  # fps参数可以减少帧数，来进一步降低文件大小
            # 释放资源
            clip.close()

◆ clip - 遍历文件并处理为 VideoClip 对象

◆ ori_clip - 图原始 gif 对象，主要用于将 mp4 转为原先 gif 相同的尺寸

◆ resized - 除了指定 w-width 和 h-height 外，也可以直接传 ratio 进行缩放

◆ write_gif - 可以指定 fps 也可以复用原先的 fps

修复前:

修复后:

五.修改源码

上面的修复过程分为 3 步:

◆ GIF To MP4 - 先将 gif 转换为 mp4

◆ Enhance - 对视频帧执行图像增强

◆ MP4 To GIF - 再将 mp4 转化为 gif

一些同学如果觉得这个步骤有些繁琐，可以直接修改源码部分：

源码部分通过 ffmpeg 适配了 flv 格式，其将非 mp4 格式的 .flv 文件通过 ffmpeg 进行了转化。同理，我们可以增加 gif 转 mp4 的逻辑:

ffmpeg -i xxx.gif -movflags faststart -pix_fmt yuv420p -vf "scale=trunc(iw/2)*2:trunc(ih/2)*2" output.mp4

◆ -i 指定输入文件，即我们的 gif 文件

◆ -moveflags faststart 允许文件在网络上更快的播放

◆ -pix_fmt 指定像素格式为 yuv420p，其兼容性更好

◆ -vf 视频过滤器 `-vf` 指令用于确保视频的宽度和高度是 2 的倍数，这是 MP4 编码的一般要求

◆ -i 指定输入文件，即我们的 gif 文件

这个命令提供了一个比较基础的转换，不含有关品质或压缩级别的特定选项。如果需要对输出视频质量进行控制，可添加比特率和编码预设参数。可以增加 if 判断，并修改 os.system 内的 cmd 语句，这样就可以直接转换 gif 格式或任何你需要的格式。

六.总结

上面简单介绍了 Real-ESRGAN 在实际工作中的应用，对于一些老剧老图老视频，其可以修复其画质，非常的方便，对于常规图像，CPU 可能需要 30-90s 处理一帧图像，如果有 GPU 速度会大大提升。除此之外，相比老图，相对高画质的图在 Real-ESRGAN 的增强下会更加清晰，效果更好，大家也可以多多尝试。