Deepstream Performance Optimization

English original

1、In [streammux][primary-gie] batch size = the number of input sources
2、[streammux] height,width=input resolution输入分辨率，
避免stream进行不必要的缩放
3、if use RTSP or USB camera sources,[streammux] live-source=1;
启用正确时间戳，平滑播放
4、关闭显示，节省GPU资源。
1) [osd]enable=0
2) [tiled-display] enable=0
3) [sink] type=1 fakesink

5、increasing [source#] num-extra-surfaces,num-extra-surfaces of Gst-nvv4l2decoder
如果CPU/GPU的利用率低，也许是因为管道里的元素缺buffers，
6、如果docker中low FPS,[sink0] qos=0,
如果qos=1,decodebin开始掉帧
7、如果要优化处理管道端到端延迟，可以在 DeepStream 中使用延迟测量方法。

若要启用帧延迟测量，请在控制台上运行此命令：
$ export NVDS_ENABLE_LATENCY_MEASUREMENT=1
若要启用所有插件的延迟，请运行此命令在控制台上：
$ export NVDS_ENABLE_COMPONENT_LATENCY_MEASUREMENT=1
8、
$ sudo nvpmodel -m 0 --for MAX perf and power mode is 0
$ sudo jetson_clocks
9、On Jetson, use Gst-nvoverlaysink instead of Gst-nveglglessink as nveglglessink requires GPU utilization

1、If you are using Jetson Xavier or Xavier NX, 
you can use the DLA (Deep learning accelerator) for inferencing
2、每隔1或3帧推断一次，在inference config file,更改[property] interval
0表示每帧推断一次，1表示每隔一帧推断一次
3、用FP16 or INT8推理
4、似乎是自己需要去试验设置batchsize