韦东山老师的视频监控项目视频链接如下：
在教学视频中由于韦东山老师使用的是IMX6ULL开发板做的示例，我自己用的是STM32MP157Pro开发板，在学习过程中发现有一些地方不能直接照搬，否则开发板无法正常实现推流。所以打算把自己遇到的一些问题和解决方法记下来，方便大家参考！
一、FFmpeg介绍：
FFmpeg是一套开源软件 可以记录、转换音视频：可以从摄像头中记录视频，从声卡中记录音频，可以转换为各种格式，保存起来 还可以把各种格式的音视频，转换为流：供在线观看 其他功能：视频截图、加水印、裁剪等等 Mplayer，ffplay，射手播放器，暴风影音，KMPlayer，QQ影音等视频频播放器的内核就是 FFmpeg 格式工厂的内核也是FFmpeg.
二、Nginx介绍
Nginx是一套开源软件，纯C语言编写，效率高 HTTP和反向代理web服务器，同时也是一个 IMAP、POP3、SMTP 代理服务器 稳定、高效，支持高并发 即使强如阿里巴巴，也是使用Nginx，它就是在Nginx的基础上，针对大访问量网站的需求，添加了很多高级功能和特性。 我们只关注：Nginx可以作为流体服务器，支持RTMP、HTTPFLV、HLS等协议
视频流在流媒体中编解码和推拉流情况：
推流端 FFmpeg
- 使用RTMP协议向Nginx推流
- 拉流端 VLC播放器使用RTMP或HTTPFLV协议从Nginx拉流，浏览器使用HTTPFLV协议从Nginx拉流(安装flv.js)
二、移植FFmpeg和Nginx
1.下载源码，手动编译，再移植到开发板
2.使用官方提供的BUildroot，在配置中选择ffmpeg和Nginx，编译生成镜像文件。(简单易行)
这一步正常跟着视频教程走就行。
进入Nginx按照视频里面的把选项都选上。
三、修改配置文件/etc/nginx/nginx.conf
代码如下：
rtmp {
server {
listen 1935; #listen on standard RTMP port
chunk_size 4096;
application live {
allow publish 127.0.0.1;
allow play all;
live on; #Enable listening for live streampplication
record off; #Do not record the stream
meta copy; #Copy the incoming metadata for the outgoing metadata
}
}
}
location /test {
flv_live on;
}
这两段代码不要粘贴错，不然会执行命令的时候会报错：RTMP_ReadPacket, failed to read RTMP packet header，rtmp://127.0.0.1/live/wei: Unknown error occurred
四、重启Nginx服务：
/etc/init.d/S50nginx restart
但是STM32MP157板子烧入系统后，没有这个文件。（重启开发板服务就会重启，如果你需要这么一个初始化文件的话自己也可以建立一个）
vim S50nginx
#粘贴下面的代码到S50nginx
#!/bin/bash
#chkconfig:35 85 15
DAEMON=/usr/sbin/nginx
PID=/var/run/nginx.pid
case "$1" in
start)
echo "Starting nginx daemon..."
$DAEMON && echo "SUCCESS" #开启nginx
;;
stop)
echo "Stopping nginx daemon..."
$DAEMON -s quit && echo "SUCCESS" #从容的停止nginx
;;
reload)
echo "Reloading nginx daemon..."
$DAEMON -s reload && echo "SUCCESS" #平滑重启nginx
;;
restart)
echo "Restarting nginx daemon..."
if [ ! -f "$PID" ]; then
ps -ef | grep nginx | awk 'NR<3{print "kill -9 "$2}' | sh
sleep 3
$DAEMON && echo "SUCCESS" #开启nginx
else
$DAEMON -s quit #从容的停止nginx
sleep 3
$DAEMON && echo "SUCCESS" #开启nginx
fi
;;
status)
if [ ! -f "$PID" ]; then #▒.▒为nginx启动后会生成▒.程文件nginx.pid，这里通过判断▒.程
echo "Nginx is not running..."
else
echo "Nginx is running..."
fi
;;
*)
echo "Usage:service nginx (start|stop|restart|reload|status)"
exit 2
;;
esac
给S50nginx赋予执行权限
chmod a+x S50nginx
问题解决，重启服务成功！
五、测试Nginx：
在浏览器中输入板子的IP
开发板上已经正在运行Nginx服务器了，测试成功！
六、MP4录制测试
- 推流
- 在开发板上执行：
- ffmpeg -f v4l2 -framerate 10 -i /dev/video1 -q 10 my.mp4
报错：
[video4linux2,v4l2 @ 0x72d30] ioctl(VIDIOC_G_INPUT): Inappropriate ioctl for device
/dev/video1: Inappropriate ioctl for device，
将命令中的video1改成video0，该问题解决。
ffmpeg -f v4l2 -framerate 10 -i /dev/video0 -q 10 my.mp4但是执行上述命令会报错：内存不足，ffmpeg进程被杀死
[ 49.199168] Out of memory: Killed process 786 (ffmpeg) total-vm:476024kB, anon-rss:142808kB, file-rss:129672kB, shmem-rss:0kB, UID:0 pgtables:372kB oom_score_adj:0
[ 49.294156] oom_reaper: reaped process 786 (ffmpeg), now anon-rss:0kB, file-rss:129664kB, shmem-rss:0kB
Killed
最开始以为自己电脑用的USB摄像头性能太好，板子的性能不够所以带不动，修改-framerate和-q的数值也不管用，于是我淘宝买了个200W像素的USB迷你摄像头，执行上面的命令结构一样显示内存不足，进程被killed。
自己瞎找了一段时间的资料，也去官方的社区去提问了，但是发现没人鸟我，找客服效率也低。然后想着是不是摄像头的分辨率太高了，自己查了一下使用ffmpeg 设置分辨率，发现果然是分辨率的问题，默认是1920*1080，我将它改成320*240测试了一下，执行命令发现不再报错（stm32mp157上不会像视频里面那样不停地在中断打印信息，ctl+c结束ffmpeg程序），生成的文件也可以在Ubuntu上正常播放，录制MP4问题解决！~
ffmpeg -f v4l2 -framerate 10 -i /dev/video0 -q 1 -s 320x240 my.mp4 -y七、推流测试：
ffmpeg -f v4l2 -framerate 10 -i /dev/video0 -q 10 -f flv rtmp://127.0.0.1/live/wei按照教程给的命令去测试发现，帧率会特别低，而且实时性特别差，虽然我设置的fps=10，但是实行运行时的帧率只有2.1，这就会导致传输到终端的视频特别卡顿。
尝试将帧率调低，效果会有所改善，但是最多就5帧。
ffmpeg -f v4l2 -framerate 10 -i /dev/video0 -q 5 -vf scale=160:90 -f flv rtmp://127.0.0.1/live/wei
fps=5的视频效果体验非常差，想着自己将帧率设置到最低了为什么ffmpeg推流最多只有5帧，又查了一堆资料然后读了一下打印信息发现问题所在：
[video4linux2,v4l2 @ 0x72c90] The driver changed the time per frame from 1/10 to 1/5
Input #0, video4linux2,v4l2, from '/dev/video0':
Duration: N/A, start: 1401.760782, bitrate: 165888 kb/s
Stream #0:0: Video: rawvideo (YUY2 / 0x32595559), yuyv422, 1920x1080, 165888 kb/s, 5 fps, 5 tbr, 1000k tbn, 1000k tbc
Stream mapping:
Stream #0:0 -> #0:0 (rawvideo (native) -> flv1 (flv))
Press [q] to stop, [?] for help
Output #0, flv, to 'rtmp://127.0.0.1/live/wei':
Metadata:
encoder : Lavf58.29.100
Stream #0:0: Video: flv1 (flv) ([2][0][0][0] / 0x0002), yuv420p, 160x90, q=2-31, 200 kb/s, 5 fps, 1k tbn, 5 tbc
相当于我上面的命令只改了输出流的分辨率，帧数和画面质量。得想办法让摄像头驱动采集的数据也是低分辨率，推送的视频流帧数上不去。又是一通资料查询，使用下面的命令解决了USB摄像头跑在开发板上帧数不高的问题。
ffmpeg -f v4l2 -r 25 -s 320x240 -i /dev/video0 -s 320x240 -r 25 -f flv rtmp://127.0.0.1/live/wei在-i 前设置分辨率和帧数就是相当于设置的输入端
八、视频播放
我使用的是plotplay来播放视频，你也可以使用教程里面的VLC。
分辨率设成640x480板子的视频推流的帧率可以接近24帧，差不多是这个板子的极限分辨率了，尝试将分辨率调到更低，帧数可以高到30帧，这样视频看上去会更加流畅。
在STM3MP157上跑这个视频监控项目也花了我不少时间，如果你也有类似的需求，希望这篇博客能帮助你少走弯路。
跑这个视频监控是为后续在板子上做MPTCP视频流测试用的，后面我也会将测试结果和情况整理发出来，供大家参考。
如果这篇Blog有帮到你，请点个赞再走，Respect 所有帮到过我的博客作者！