需求
在正式开始之前，先介绍下我的需求是怎么样的，基于此需求如何使用ffmpeg实现。仅供参考。
需求点：
- 将图片保存为视频
- 图片数量不是固定的，是由上游的webrtc传下的帧数据，转成的bitmap。所以只要webrtc开着，图片流就一直会有。
- 每帧图像的间隔时间依赖于不同的网络环境，所以不是固定的时间间隔。
实现
在使用原生ffmpeg之前，笔者使用了几个第三方的nuget库，如：FFmpeg.AutoGen、Xabe.FFmpeg、Accord.Video.FFMPEG。前两个库要么只支持将文件夹里现有的图片保存为mp4，要么不支持设置每帧的PTS，导致生成的mp4播放速度太快。最后选用了Accord.Video.FFMPEG，这个库能满足上述的三个需求点。无奈此库已长期不维护，当上游的FPS>15时，WriteVideoFrame方法抛出异常的频率会大大提升，导致内存泄漏，而且当前帧也会被丢掉。
然后项目使用的是.net452，一时半会版本也升级不上去，这就过滤大多数的nuget库。最后，只能使用的原生的ffmpeg了。
ffmpeg只是提供了一个exe，并没有官方的API可供我们调用，只提供了一大堆的参数说明，真是令人头大。经过不断的看文档和搜索调试之后，发现配置以下参数可以达到我们的需求。
-f image2pipe -use_wallclock_as_timestamps 1 -i - -c:v libx264 -pix_fmt yuv420p -vsync passthrough -maxrate 5000k -an -y 123.mp4
以下对各参数做个简单介绍：
image2pipe：使用图片管道，我们可以将图片数据一直往管道里塞，ffmpeg会不断将其添加到mp4文件中。用来满足需求1和2.use_wallclock_as_timestamps 1：开启此选项，ffmpeg就会将接收此图片的时间作为该帧的timestamp。这样生成的MP4播放速度才正常，满足需求3.pix_fmt yuv420p：设置像素格式，解决生成的视频无法使用windows media player播放的问题。-vsync passthrough：可以理解为动态帧率，根据上游的帧率来决定输出mp4的帧率。默认有以下几个选项：passthrough：使用帧原始的timestamp.cfr (1)：根据输出帧率的配置，进行自动插帧（上游帧率小于输入帧率）或者丢帧（上游帧率大于输入帧率）。vfr (2)：类似于passthrough, 不过当两帧具有timestamp时会丢弃其中一个。drop：类似于passthrough，只不过会丢弃帧原始的timstamp，然后重新生成符合帧率要求的timestamp。auto (-1)：默认行为。在cfr和vfr之前自动选择。
maxrate：设置最大比特率123.mp4：保存的文件名或者路径，注意里面不要有空格。
最后的C#代码如下，我们需要使用Process类来启动ffmpeg.exe。
public class FfmpegToVideoService
{
private bool _isRunning = false;
private int _fps;
private readonly Process _proc;
/// <summary>
/// Bitmap保存为MP4
/// </summary>
/// <param name="filePath">mp4要保存的路径，如：D:\\a\b\123.mp4</param>
/// <param name="maxBitRate">最大比特率，单位K</param>
public FfmpegToVideoService(string filePath,int maxBitRate = 5000)
{
var formattedPath = Path.GetFullPath(filePath);
_proc = new Process();
//-pix_fmt yuv420p -movflags +faststart -r {30} -i pipe:.bmp -r {_fps} -timecode 00:00:00.000
//-vsync cfr自动差值 vfr根据timestamp,重复的丢弃 passthrough根据timestamp重复的不丢 -vsync passthrough
//-r 30 入帧出帧都是30
_proc.StartInfo.FileName = @"ffmpeg.exe";
_proc.StartInfo.Arguments = $"-f image2pipe -use_wallclock_as_timestamps 1 -i - -c:v libx264 -pix_fmt yuv420p -vsync passthrough -maxrate {
maxBitRate}k -an -y {
formattedPath}";
_proc.StartInfo.WorkingDirectory = CommonFunctions.BasePath;
_proc.StartInfo.UseShellExecute = false;
_proc.StartInfo.RedirectStandardInput = true;
_proc.StartInfo.RedirectStandardOutput = true;
_proc.Start();
}
// 将Bitmap数据写入管道
private void SendToPipe(Bitmap bitmap)
{
if (_proc.StartInfo.RedirectStandardInput)
{
using (MemoryStream ms = new MemoryStream())
{
bitmap.Save(ms, ImageFormat.Png);
ms.WriteTo(_proc.StandardInput.BaseStream);
}
}
}
/// <summary>
/// 异步线程启动服务
/// </summary>
public override void StartAsync()
{
_isRunning = true;
}
/// <summary>
/// 停止服务
/// </summary>
public override void Stop()
{
_isRunning = false;
try
{
_proc.StartInfo.RedirectStandardInput = false;
_proc.StartInfo.RedirectStandardOutput = false;
_proc.StandardInput.Close();
_proc.StandardOutput.Close();
_proc.Close();
}
catch (Exception ex)
{
Log.Error(ex, "");
}
}
/// <summary>
/// 添加item
/// </summary>
/// <param name="item"></param>
public override void Add(FrameInfo item)
{
if(_isRunning)
{
SendToPipe(item.Bitmap);
}
}
}
- https://trac.ffmpeg.org/wiki/Slideshow
- https://ffmpeg.org/ffmpeg.html#filter_005foption
- https://stackoverflow.com/questions/60977555/adding-current-time-as-timestamp-in-h-264-raw-stream-with-few-frames