obs-studio开源项目从入门到放弃obs-studio项目简介和架构

Posted 2023-03-29 ArchieFu

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了obs-studio开源项目从入门到放弃obs-studio项目简介和架构相关的知识，希望对你有一定的参考价值。

文章目录

前言
一、obs-studio项目简介
二、windows平台的编译步骤
三、obs的核心线程
四、常用插件的介绍
五、obs图形子系统
- libobs-d3d11
- libobs-opengl
六、公用基础库
总结
- 技术参考

前言

obs-studio 是一款跨平台、免费且开源的用于视频录制以及直播串流的软件。国内绝大多数的直播推流客户端多是基于 obs 的二次开发的，对于流媒体开发工程师是一个非常不错的值得学习的开源项目。

接下来用几篇博客记录一下这些年的我对obs的学习和理解，欢迎交流学习。

音视频技术栈参考：https://blog.csdn.net/qq_33844311/article/details/122354198

一、obs-studio项目简介

官方地址：https://obsproject.com/
官方wiki：https://obsproject.com/wiki/
Git repository :https://github.com/obsproject/obs-studio

obs-studio整个项目涉及到的流媒体知识非常丰富，包括各个平台（windows、macOS、linux）程序窗口，摄像头，麦克风的采集，支持游戏采集，支持添加视频，图片作为图像源，支持x264编码，以及硬件编码，输出格式也非常丰富，支持 rtmp，srt网络推流，支持 flv mp4 ts本地文件录制。最重要的 obs 支持类似于专业导播台的导播功能，一键切换直播场景，特别适合主播，直播带货等小型直播团队。

二、windows平台的编译步骤

2022年3月 obs官方支持自动化编译脚本，大大降低编译 obs-studio 的门槛。
详细内容参考：windows10使用vs2019编译obs-studio

三、obs的核心线程

obs视频渲染线程

详细内容参考这篇文章：obs_graphics_thread 视频采集渲染线程理解
2021/12/04 更新

obs视频编码线程

详细内容参考这篇文章：video_thread 视频编码线程理解
2021/12/06 更新

obs音频编码线程

详细内容参考这篇文章：audio_thread 音频编码线程理解
2021/12/09 更新

rtmp发送线程

详细内容参考这篇文章:obs rtmp推流插件 rtmp_output源码解析
2021/12/10 更新

四、常用插件的介绍

视频源

视频文件

obs支持添加本地视频文件推流，也支持拉网络流转推出去。
具体细节参考：obs媒体源 ffmpeg_source 分析
2021/12/11 更新

win-dshow摄像头采集

windows 平台下的摄像头采集使用微软的 DirectShow 框架。
DShow wiki ： https://zh.wikipedia.org/wiki/DirectShow

文本渲染

windos平台有两种文本源。
一个是 obs 推荐使用的基于 GDI 技术的文本渲染源。
另一个是基于 freetype2 的跨平台免费的渲染字体的软件库。
freetype2官网：https://freetype.org/

显示器捕获和窗口采集

windows 平台下的窗口采集有3种方式

GDI （兼容性最好，效率一般）
DXGI（win8+ 以上支持，效率高）
WGC 采集桌面（win10 版本 1903 + 支持效率最高）

详细内容参考这篇文章：windows 窗口采集和桌面采集的解决方案
2022/01/19 更新

游戏捕获

对于直播而言，游戏是一个重要分支，对于游戏自身而言，都是为了尽可能争取到高性能的渲染，而基本上采用DirectX、OpenGL、VulKan等与显卡紧密结合的渲染SDK进行游戏画面的渲染，游戏的帧率，也普遍非常之高。高清高速高性能的追求，对于数据采集而言，本就是一个挑战，如果采样前述的窗口捕获的方式，对于DMA带宽占用，本身就会影响当下游戏性能，而且游戏帧率随着场景变化，对于我们设置的采样间隔，会造成极大的浪费。所以，游戏这种捕获，OBS采用了独立功能和产品模块来实现捕获，以获取最佳性能。

为了能掌控渲染帧数的变化，实时获取图像帧数据，基本方式是：注入 + 绘制函数Hook。

参考 obs 以下几个项目

graphics-hook
inject-helper
get-graphics-offsets

音频源

win-audio-capture

wasapi_output_capture windows平台的扬声器声音捕获
wasapi_input_capture windows平台的麦克风声音捕获

windows平台下的音频捕获插件，一个是官方的win-wasapi 一个非官方的 win-audio-capture
详细内容参考这篇文章: win-wasapi 音频的采集
2021/12/25 更新

输出源

网络协议推流

rtmp-output

rtmp推流插件，支持设置rtmp动态码率。
详细内容参考这篇文章：obs rtmp推流插件 rtmp_output源码解析
2021/12/10 更新

rtmp多路推流插件

支持 rtmp 推流到多个平台
参考：https://www.bilibili.com/read/cv5458917/
作者：猫耳雷鸣喵 https://www.bilibili.com/read/cv5458917/ 出处：bilibili
Git：https://github.com/sorayuki/obs-multi-rtmp

srt-output

obs studio version 25.0 开始支持 srt 推流
详细内容参考这篇文章：obs 配置 srt推流
2022/01/11 更新

ffmpeg-output

ffmpeg-output 插件是个万金油输出，只要是 ffmpeg支持的协议，都可以通过这个 output 来输出。
详细内容参考这篇文章：obs 的高级输出 ffmpeg-output
2022/01/15 更新

本地文件录制

flv | mp4 | ts 录制

obs的视频录制支持丰富的流媒体协议。
详细内容参考这篇文章:ffmpeg_muxer 视频的录制(flv-mp4-ts-srt-udp-tcp)
2021/12/22 更新

编码器源

x264编码器源

obs 软编使用 libx264进行编码。支持设置动态码率。
详细内容参考这篇文章：obs中 x264编码器的使用
2021/12/22 更新

obs-qsv11编码器

Intel media sdk的硬编功能。用来支持H264硬件编码。
详细参考：英特尔® 媒体 SDK

aac opus 音频编码器源

obs支持 aac opus 音频编码
详细内容参考这篇文章：obs aac opus 音频编码器的使用
2022/01/12 更新

coreaudio-encoder

obs 直播的过程中，支持使用很多种不同的 AAC编码器。它大概会按照 Core-audio（苹果 iTunes里的那个）、FDK-AAC、Windows Media Foundation、FFMpeg 这样的顺序一个个找下去找到能用的。

coreaudio-encoder 就是苹果iTunes里的那个 AAC 音频编码器。
如何使用 Core-audio 请参考：启用 CoreAudio AAC 编码器（Windows）

转场特效源

所有的滤镜特效、转场特效、噪音抑制、声音增益都属于 filter，细节参考 obs-filters 项目。

高级场景切换器

该插件基于内置的场景切换器。它通过添加以下内容来扩展其功能：
基于音频的场景切换（音频选项卡）
基于媒体的场景切换（媒体选项卡）
基于系统时间的场景切换（时间选项卡）
自动场景切换序列（场景序列选项卡）
基于光标位置的场景切换（区域）
检测到空闲后切换到场景的选项（空闲选项卡）
基于可执行的场景切换（可执行选项卡）
基于文件内容的场景切换（文件）
改进了基于窗口标题的场景切换（全屏/最大化检测，忽略窗口）
能够为每个自动切换案例选择不同的转换（转换选项卡）
根据场景或窗口标题自动暂停场景切换器
启动和停止场景切换器的热键
场景变化触发动作

官网地址：https://obsproject.com/forum/resources/advanced-scene-switcher.395/
Git : https://github.com/WarmUpTill/SceneSwitcher