音视频处理基础框架介绍，FFmpegGStreamerOpenCVOpenGL

Posted 2023-04-06 停止重构

大家好，欢迎来到停止重构的频道。 

本期我们介绍音视频处理的基础框架。

包括FFmpeg、GStreamer、OpenCV、OpenGL 。

我们按这样的分类介绍 ：

1、编解码处理：FFmpeg、GStreamer

2、图像分析：OpenCV

3、复杂图像生成：OpenGL

编解码处理：FFmpeg、GStreamer

首先是编解码处理的基础框架，这类基础框架的应用场景是最为广泛的。

因为在绝大数情况下，如视频高清/标清转换、视频文件轮播、视频流多合一处理、导播信号源切换、视频播放等等，实际上都可以归类为编解码处理。

对于编解码处理的基础框架，比较流行且可靠的是FFmpeg和GStreamer ，比较出名的直播工具OBS和很多播放器都是基于FFmpeg开发的。

 

对于这两个框架的选择，我们更推荐FFmpeg，虽然GStreamer是一种模块化的框架，理论上只要加入模块就可以扩展更多的场景，如AI处理等。但是这种方式也会加大代码理解的难度，各种异步通信、线程交互会让人头昏脑胀。

而FFmpeg的设计更专注于编解码处理，代码结构根据封装、编解码、filter处理等步骤而设计 代码理解上相对更加容易。

这里我们的关注点放在代码理解上，你可能会奇怪，基础框架不就是使用API调用就可以了吗 ，再不行就翻翻文档、或网上搜索一下不就好了吗？

但是，由于从事音视频处理的工程师实际并不多，而且由于视频编解码处理的过程本身就很复杂，所以难免会出现很多特殊问题，网上很难找到相似问题的答案。

很多时候你只能看框架源码，甚至一些时候还需要在框架源码上追加log以追查问题，所以我们更推荐源码更容易理解的FFmpeg ，FFmpeg的编译安装、API使用我们在后续内容会详细介绍。

FFmpeg的源码是c编写的 ，如果自身程序不是c/c++ 如Java、Python等也有调用方案。

这里需要特别说明的是FFmpeg是提供命令行方式调用的 ，官网有很详细的说明 ，如果是简单的处理 ，确实是可以通过程序生成命令行就可以实现功能。

 

但是以命令行的方式使用FFmpeg实际上并不好，很多复杂的功能就很难实现，而且一旦发生错误的话，通过捕捉报错log也很难定位问题。

所以要是想开发一个稳定可靠的音视频处理软件的话，还是调用库函数的方式比较好。

图像分析：OpenCV

接下来是图像分析的基础框架，一些高级功能，如对视频流中的人物头像分析提取、轨迹跟踪等，都是需要用到这类基础框架的。

OpenCV是这类框架中比较流行且可靠的，OpenCV一般也称作机器视觉框架，总的来说 ，OpenCV主要的应用场景是图像分析， 更直接的说，就是从图像中提取数据，如人脸识别、轨迹跟踪等。

至于要实现一些AI处理、AI训练的话，需要结合其他AI框架，或者OpenCV的AI特别版本。

但我们还是推荐结合其他AI框架，这样虽然意味着软件结构更加复杂，但是长远来看，对于后续持续升级、功能扩展，专业的框架做专业的事更为合理。

需要特别说明的是：OpenCV的一些API是依赖FFmpeg的，因为图像处理一般是基于视频文件、视频流的，OpenCV需要FFmpeg帮忙解码视频。

另外，OpenCV也可以生成一些较为简单的二维图像，我们就曾经使用OpenCV生成二维实时地图，然后使用FFmpeg将实时地图合成到视频流中。

复杂图像生成：OpenGL

最后是复杂图像生成的基础框架，OpenGL是这类基础框架中较为可靠的，OpenGL比OpenCV能生成更为复杂的图像，OpenGL甚至可以生成3维模型。

总结

​虽然我们对FFmpeg、OpenCV、OpenGL是分类介绍的，但是在实际项目当中，并不是非此即彼的选择，很多时候 根据具体场景，是需要同时结合多个框架的。

这里我们想啰嗦一下，也是我们一直坚持的观点：技术或工具都是为了解决某个具体问题而生的，在实际工作中，并不存在一招鲜吃遍天的情况，除非是十年如一日的职位。

但也不需要恐惧一些没使用过的技术，毕竟很多时候，其实并不需要花过多的时间完全掌握某个技术或工具，只需要按我们的需要合理的使用它们的一部分功能就可以了。

WebRTC Native M96视频基础知识介绍--使用H264

名词解释

视频

泛指将动态影像以电信号方式加以捕捉、纪录、处理、存储、发送与重现的各种技术。

视频格式

视频是现在电脑中多媒体系统中的重要一环。为了适应储存视频的需要，人们设定了不同的视频文件格式以将视频和音频放在一个文件中，以方便同时播出。
什么3gp、mp4、avi啊，这些视频格式，从中学时代就有听说。
首先，MP4、AVI、MKV都是本地视频文件的后缀，在windows系统下，用于提示操作系统应该采用哪个应用程序打开。而在流媒体领域，这些都被称为『视频封装格式』

视频协议

是针对网络流媒体而言的，也就是只有在有网络时通过浏览器或者移动端APP才能看到的视频，目前常见的协议有RTSP、RTMP、HLS、HTTP等。

类型	说明
RTSP	实时流协议（Real Time Streaming Protocol，RTSP）虽然在某些方面与HTTP类似，RTSP定义了控制多媒体播放控制顺序。虽然HTTP是无状态的，但RTSP具有状态
RTMP	实时消息传输协议, 基于TCP, 默认使用1935端口的“明文”协议
HLS	HTTP Live Streaming，缩写为HLS&