FFmpeg基础知识总结

移动开发 2023-06-24 19:36:54 阅读次数: 0

1. 概述

从事多媒体技术研发工程师想必提到最多的开源工程即是ffmpeg，全称是Fast Forward MPEG，有很多视频相关的互联网公司都使用该开源程序，如Google、Facebook、Youtube、腾讯、优酷土豆、爱奇艺、暴风等等。但根据使用场景的不同，术语经常有不同的含义，极易造成沟通不一致。我对ffmpeg的理解是：首先它是一个多媒体处理的工具软件（exe可执行程序），其次它还是一套完整的、可供二次开发的多媒体处理的SDK/API（头文件、lib、dll），最后它还是源代码全部开源且可容纳多个其他各种开源协议的音视频开源工程多媒体框架。本文也由浅入深分三个阶段进行介绍，首先是ffmpeg工具集的使用，其次是ffmpeg SDK的开发心得与小程序举例，最后是源码分析以及与其他开源工程的接口分析。

2. ffmpeg工具集的使用

Windows官方下载的形式为”ffmpeg-版本号-win32-bin”, Linux可通过 apt-get下载

sudo add-apt-repository ppa:mc3man/trusty-media

sudo add-apt-repository ppa:kirillshkrogalev/ffmpeg-next

sudo apt-get update

sudo apt-get dist-upgrade

sudo apt-get install ffmpeg

bin文件夹下是ffmpeg的应用程序，具体包括

ffmpeg：是一个媒体处理的万能工具，可以转换音视频协议、容器，或对音视频流进行合并、分割，既能处理文件又能处理实时流，格式工厂、SRS等都是基于该程序所做；

ffprobe：是一个用来查看多媒体文件的信息的工具，media info是基于该程序所做

ffplay：是一个简单的播放器，使用ffmpeg 库解析和解码，通过SDL显示；

ffserver：是一个简单的流Server，仅在Linux下才能编译通过，支持RTP+RTSP/HTTP协议。

关于ffmpeg工具集的基本使用、编码参数和协议参数可参考如下四个文档：

(1). FFmpeg Documentatio

(2). FFplay Documentation

(3). FFprobe Documentation

(4). FFserver Documentation

这些工具集如果使用好之后，在外围用C++/Python等做一个ffmpeg进程的warpper，就可以直接构建面向应用的程序或服务了。

ffmpeg.exe对于我来说更多的当成一个瑞士军刀来使用，它可以将任意一种音视频的封装格式、协议转化成任意另外一种封装格式与协议，并在转化过程中对音视频原始数据上做一些处理

输入可以是文件、管道、网络流、采集的原始音视频流 -i参

输出可以是文件、网络流 没有参数（不需要-o参数）

传输内容的类型可以是单一视频、音频、数据、字幕、attachment等也可以是多种类型即它们的混合 -map来选择 2:3代表第3路输入文件中的第4个流，-vn/-an/-sn/-dn禁止某个流

由于ffplay可以直接采集摄像头，ffmpeg也可以进行显示，故两者一同来介绍。

例：

(1). ffmpeg解码+显示

 ffmpeg -re -i test.264 -pix_fmt yuv420p -f sdl 1.yuv

(2). ffplay采集+显示

ffplay -f dshow -i video="Integrated Camera"

2.1 基本命令

ffmpeg处理流程如下：

离不开如下库（SDK开发也会用到下面的库）

libavformat 封装格式

libavcodec 编码格式

libavfilter 中间处理

例：限定比特率与帧率

ffmpeg -i input.avi -b:v 64k -bufsize 64k -r 24 output.avi

简单处理： -filter -vf/-af

复杂处理：-lavfi -filter_complex

直接复制

针对流本身的参数：

例

-codec:a:1 ac3

-b:a 128k

-threads:1 4

采集->编码->媒体流发送

ffmpeg -r 帧率 -f dshow(windows平台) -s 宽×高 -i video=”视频采集设备名称”:audio=”音频采集设备名称” -vcodec 视频编码协议名 -b 带宽 -vpre slow -acodec 音频编码协议名 -ab 音频带宽 -f 传输协议名 rtmp://server/application/stream_name

例：

ffmpeg -r 25 -f dshow -s 640×480 -i video="video source name":audio="audio source name" -vcodec libx264 -b 600k -vpre slow -acodec libfaac -ab 128k -f flv rtmp://server/application/stream_name

文件->[转码]->媒体流发送

ffmpeg -i 文件名 -re -vcodec 编解码协议名 -f 传输协议名（如果是编解码协议即为裸流） udp[rtp]://ip:port

-re 按照原来帧率发送

-vcodec copy 不用重新编解码，编解码协议名包括 h264、mpeg2video

-f 传输协议名（如果是编解码协议即为裸流），h264、mpeg2video、rtp

例：

ffmpeg -re -i 1.h264 -vcodec copy -f h264 udp://ip:port  udp传输264裸流
ffmpeg -re -i 1.h264 -vcodec mpeg2video -f mpeg2video udp://ip:port udp传输转码后的mpeg2video裸流 
ffmpeg -re -i 1.h264 -vcodec copy -f rtp rtp://ip:port>test.sdp  rtp传输264流
ffmpeg -re -i 1.flv -vcodec copy -acodec copy -f flv -y rtmp://ip:1935/live/livestream  rtmp传输flv流

媒体流接收->解码->显示
ffplay -max_delay -f 编解码协议名
-max_delay 最大时延
-f 传输协议名（如果是编解码协议即为裸流），h264、mpeg2video、rtp

例：

ffplay -max_delay 100000 -f h264 udp://ip:port 播放264流
ffplay test.sdp 播放rtp流
ffplay "rtmp://ip/app/livestream live=1" 播放rtmp流

媒体流接收->[转码]->保存文件
ffmpeg -i 流媒体url -c copy[-c:v 视频协议 -c:a 音频协议或-vcodec 视频协议 -acodec 音频协议] 1.flv[mp4]
例：

ffmpeg -i rtmp://ip/live/streamName -c copy 1.flv

流媒体接收->[转码]->流媒体发送
ffmpeg -i 流媒体url -c copy[-c:v 视频协议 -c:a 音频协议或-vcodec 视频协议 -acodec 音频协议] 流媒体url
例：

ffmpeg -i rtmp://ip/live/originalStream -c:a copy -c:v libx264 -vpre slow -f flv rtmp://server/live/h264Stream  
如果中间有空格，则加双引号 "rtmp://server/live/h264Stream live=1"
ffmpeg -i rtmp://ip/live/originalStream -c:a libfaac -ar 44100 -ab 48k -c:v libx264 -vpre slow -vpre baseline -f flv rtmp://ip/live/h264Stream
  • 多路

文件推流+显示

ffmpeg -re -i 1.h264 -pix_fmt yuv420p –f sdl 1.yuv -vcodec copy -f flv rtmp://localhost/Demo/livestream

由此可见ffmpeg也可以做为输出工具，1.yuv不会真的生成

流媒体推流+不同清晰度转码

ffmpeg -re -i rtmp://server/live/high_FMLE_stream -acodec copy -vcodec x264lib -s 640×360 -b 500k -vpre medium -vpre baseline rtmp://server/live/baseline_500k -acodec copy -vcodec x264lib -s 480×272 -b 300k -vpre medium -vpre baseline rtmp://server/live/baseline_300k -acodec copy -vcodec x264lib -s 320×200 -b 150k -vpre medium -vpre baseline rtmp://server/live/baseline_150k -acodec libfaac -vn -ab 48k rtmp://server/live/audio_only_AAC_48k

流媒体推流+不同清晰度转码，没有用-vpre medium，使用了-x264opts

ffmpeg -re -i rtmp://server/live/high_FMLE_stream -c:a copy -c:v x264lib -s 640×360 -x264opts bitrate=500:profile=baseline:preset=slow rtmp://server/live/baseline_500k -c:a copy -c:v x264lib -s 480×272 -x264opts bitrate=300:profile=baseline:preset=slow rtmp://server/live/baseline_300k -c:a copy -c:v x264lib -s 320×200 -x264opts bitrate=150:profile=baseline:preset=slow rtmp://server/live/baseline_150k -c:a libfaac -vn -b:a 48k rtmp://server/live/audio_only_AAC_48k

其他
用图片循环生成视频

例：

ffmpeg.exe -i INPUT.jpg -an -vcodec libx264 -coder 1 -flags +loop -cmp +chroma -subq 10 -qcomp 0.6 -qmin 10 -qmax 51 -qdiff 4 -flags2 +dct8x8 -trellis 2 -partitions +parti8x8+parti4x4 -crf 24 -threads 0 -r 25 -g 25 -y OUTPUT.mp4

3. ffmpeg工具编译

3.1 Linux环境下 ffmpeg编译

  • Yasm

汇编编译器

wget http://www.tortall.NET/projects/yasm/releases/yasm-1.2.0.tar.gz
tar xzvf yasm-1.2.0.tar.gz
cd yasm-1.2.0
./configure && make && make install
  • x264

H.264 软件编码器

git clone git://git.videolan.org/x264
cd x264
./configure --enable-shared && make && make install
  • LAME

mp3编解码器

wget http://downloads.sourceforge.Net/project/lame/lame/3.99/lame-3.99.5.tar.gz
tar xzvf lame-3.99.5.tar.gz
cd lame-3.99.5
./configure --enable-nasm && make && make install
  • libogg

ogg编解码器

wget http://downloads.xiph.org/releases/ogg/libogg-1.3.0.tar.gz
tar xzvf libogg-1.3.0.tar.gz
cd libogg-1.3.0
./configure && make && make install
  • libvorbis

vorbis编解码器

wget http://downloads.xiph.org/releases/vorbis/libvorbis-1.3.3.tar.gz
tar xzvf libvorbis-1.3.3.tar.gz
cd libvorbis-1.3.3
./configure && make && make install
  • libvpx

vp8、vp9编解码器

wget http://storage.googleapis.com/downloads.webmproject.org/releases/webm/libvpx-1.6.1.tar.bz2
cd libvpx
./configure  --enable-shared && make && make install

原来用的libvpx 1.3.0有问题

ubuntu16.04:

error: conflicting types for ‘max_align_t’

max_align_t C11/C++11

typedef struct {

long long max_align_ll __attribute((aligned(alignof(long long))));

long double max_align_ld __attribute((aligned(alignof(long double))));

} max_align_t;

libvpx

union max_align

{

char c;

short s;

long l;

int i;

float f;

double d;

void * v;

void (*q)(void);

};

typedef union max_align max_align_t;

弃用libvpx1.3.0

使用libvpx1.6.1

  • FAAD2

AAC编解码器

wget http://downloads.sourceforge.net/project/faac/faad2-src/faad2-2.7/faad2-2.7.tar.gz
tar zxvf faad2-2.7.tar.gz
cd faad2-2.7 && make && make install
  • FAAC

AAC编解码器

wget http://downloads.sourceforge.net/project/faac/faac-src/faac-1.28/faac-1.28.tar.gz
tar zxvf faac-1.28.tar.gz && make && make install

mpeg4ip.h:126: error: new declaration ‘char* strcasestr(const char*, const char*)’

解决方法：

mpeg4ip.h从124行extern “C”换成extern “C++”，到126行char 前加const结束。

Xvid

MPEG4编解码器

wget http://downloads.xvid.org/downloads/xvidcore-1.3.2.tar.gz
tar zxvf xvidcore-1.3.2.tar.gz
cd xvidcore/build/generic
./configure && make && make install
  • fdk-aac

AAC编解码器

git clone git://github.com/mstorsjo/fdk-aac
./configure && make && make install
  • opus

opus编解码器

wget http://downloads.xiph.org/releases/opus/opus-1.1.4.tar.gz
tar zxvf opus-1.1.4.tar.gz
./configure && make && make install
  • rtmpdump

rtmp传输协议

wget http://rtmpdump.mplayerhq.hu/download/rtmpdump-2.3.tgz
apt-get install openssl 
apt-get install libssl-dev
apt-get install zlib1g-dev
tar zxvf rtmpdump-2.3.tgz
make && make install

ffmpeg

git clone git://source.ffmpeg.org/ffmpeg
cd ffmpeg
./configure \
    --enable-version3 \
    --enable-libvpx \
    --enable-libfdk-aac \
    --enable-libfaac \
    --enable-libvorbis \
    --disable-libopus \
    --enable-libmp3lame \
    --enable-libx264 \
    --enable-libxvid \
    --enable-librtmp \
    --enable-shared \
    --enable-gpl \
    --enable-postproc \
    --enable-nonfree \
    --enable-avfilter \
    --enable-pthreads
make && make install

修改/etc/ld.so.conf如下:

include ld.so.conf.d/*.conf

/lib

/lib64

/usr/lib

/usr/lib64

/usr/local/lib

/usr/local/lib64

ldconfig

3.2 Windows mingw环境下 ffmpeg编译

未完待续

3.3 Windows VS2015环境下 ffmpeg编译

未完待续

原文链接：FFmpeg基础知识总结_ffmpeg lavfi_LeoChen1983的博客-CSDN博客

★文末名片可以免费领取音视频开发学习资料，内容包括（FFmpeg ，webRTC ，rtmp ，hls ，rtsp ，ffplay ，srs）以及音视频学习路线图等等。

见下方!↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓

 

猜你喜欢

转载自blog.csdn.net/yinshipin007/article/details/131334761
今日推荐
基于大语言模型的开源知识库问答系统 MaxKB GitHub Star 数量突破 5,000 个！
美国拟限制 AI 大模型出口中国和俄罗斯
苹果将与 OpenAI 达成协议，将 ChatGPT 应用于 iPhone
openKylin 社区生态委员会第六次会议圆满召开
阿里云正式发布通义千问 2.5
Python 3.13 发布首个 Beta：实验性自由线程模式和 JIT、改进交互式解释器
Stack Overflow 拿我的代码去训练 AI 大模型，还封了我的账号
Pop!_OS 的 COSMIC 桌面完成 App Store 上架工作
报告：Django 仍然是 74% 开发者的首选
《2024 年一季度互联网投融资运行情况》研究报告
15 年前上了“FFmpeg 耻辱柱”，今天他还得谢谢咱——腾讯QQPlayer一雪前耻？
TIOBE 5 月榜单：Fortran “复活”进入 Top 10
周排行
BPM为企业带来的实际利益
好程序员web前端分享css常用属性缩写
Java文件下载（excel）
css样式的动态添加及显示和隐藏等零碎用法
axios全局配置以及拦截器
使用Logstash来实时同步MySQL和log日志数据到ES
C++获取当前时间（年月日、时分秒、毫秒）
Odoo产品分析 (四) -- 工具板块(11) -- 网站即时聊天(1)
Java环境配置正确，但是java、javac、java -version均返回“不是内部或外部命令，也不是可运行的程序或批处理文件”？
01 官网下载各种CentOS教程（超详细版）
每日归档
更多
2024-05-14(0)
2024-05-13(18)
2024-05-12(0)
2024-05-11(38)
2024-05-10(38)
2024-05-09(35)
2024-05-08(42)
2024-05-07(14)
2024-05-06(40)
2024-05-05(0)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022