obs-studio开源项目从入门到放弃obs-studio项目简介和架构

Posted ArchieFu

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了obs-studio开源项目从入门到放弃obs-studio项目简介和架构相关的知识,希望对你有一定的参考价值。

文章目录


前言

obs-studio 是一款跨平台、免费且开源的用于视频录制以及直播串流的软件。国内绝大多数的直播推流客户端多是基于 obs 的二次开发的,对于流媒体开发工程师是一个非常不错的值得学习的开源项目。

接下来用几篇博客记录一下这些年的我对obs的学习和理解,欢迎交流学习。

音视频技术栈参考:https://blog.csdn.net/qq_33844311/article/details/122354198


一、obs-studio项目简介

官方地址:https://obsproject.com/
官方wiki:https://obsproject.com/wiki/
Git repository :https://github.com/obsproject/obs-studio

obs-studio整个项目涉及到的流媒体知识非常丰富,包括各个平台(windows、macOS、linux)程序窗口,摄像头,麦克风的采集,支持游戏采集,支持添加视频,图片作为图像源,支持x264编码,以及硬件编码,输出格式也非常丰富,支持 rtmp,srt网络推流,支持 flv mp4 ts本地文件录制。最重要的 obs 支持类似于专业导播台的导播功能,一键切换直播场景,特别适合主播,直播带货等小型直播团队。

二、windows平台的编译步骤

2022年3月 obs官方支持自动化编译脚本,大大降低编译 obs-studio 的门槛。
详细内容参考:windows10使用vs2019编译obs-studio

三、obs的核心线程

obs视频渲染线程

详细内容参考这篇文章:obs_graphics_thread 视频采集渲染线程理解
2021/12/04 更新

obs视频编码线程

详细内容参考这篇文章:video_thread 视频编码线程理解
2021/12/06 更新

obs音频编码线程

详细内容参考这篇文章:audio_thread 音频编码线程理解
2021/12/09 更新

rtmp发送线程

详细内容参考这篇文章:obs rtmp推流插件 rtmp_output源码解析
2021/12/10 更新

四、常用插件的介绍

视频源

视频文件

obs支持添加本地视频文件推流,也支持拉网络流转推出去。
具体细节参考:obs媒体源 ffmpeg_source 分析
2021/12/11 更新

win-dshow摄像头采集

windows 平台下的摄像头采集使用微软的 DirectShow 框架。
DShow wiki : https://zh.wikipedia.org/wiki/DirectShow

文本渲染

windos平台有两种文本源。
一个是 obs 推荐使用的基于 GDI 技术的文本渲染源。
另一个是基于 freetype2 的跨平台免费的渲染字体的软件库。
freetype2官网:https://freetype.org/

显示器捕获和窗口采集

windows 平台下的窗口采集有3种方式

  • GDI (兼容性最好,效率一般)
  • DXGI(win8+ 以上支持,效率高)
  • WGC 采集桌面 (win10 版本 1903 + 支持 效率最高)

详细内容参考这篇文章:windows 窗口采集和桌面采集的解决方案
2022/01/19 更新

游戏捕获

对于直播而言,游戏是一个重要分支,对于游戏自身而言,都是为了尽可能争取到高性能的渲染,而基本上采用DirectX、OpenGL、VulKan等与显卡紧密结合的渲染SDK进行游戏画面的渲染,游戏的帧率,也普遍非常之高。高清高速高性能的追求,对于数据采集而言,本就是一个挑战,如果采样前述的窗口捕获的方式,对于DMA带宽占用,本身就会影响当下游戏性能,而且游戏帧率随着场景变化,对于我们设置的采样间隔,会造成极大的浪费。所以,游戏这种捕获,OBS采用了独立功能和产品模块来实现捕获,以获取最佳性能。

为了能掌控渲染帧数的变化,实时获取图像帧数据,基本方式是:注入 + 绘制函数Hook。

参考 obs 以下几个项目

  • graphics-hook
  • inject-helper
  • get-graphics-offsets

音频源

win-audio-capture

  • wasapi_output_capture windows平台的扬声器声音捕获
  • wasapi_input_capture windows平台的麦克风声音捕获

windows平台下的音频捕获插件,一个是官方的win-wasapi 一个非官方的 win-audio-capture
详细内容参考这篇文章: win-wasapi 音频的采集
2021/12/25 更新

输出源

网络协议推流

rtmp-output

rtmp推流插件,支持设置rtmp动态码率。
详细内容参考这篇文章:obs rtmp推流插件 rtmp_output源码解析
2021/12/10 更新

rtmp多路推流插件

支持 rtmp 推流到多个平台
参考:https://www.bilibili.com/read/cv5458917/
作者:猫耳雷鸣喵 https://www.bilibili.com/read/cv5458917/ 出处:bilibili
Git:https://github.com/sorayuki/obs-multi-rtmp

srt-output

obs studio version 25.0 开始支持 srt 推流
详细内容参考这篇文章:obs 配置 srt推流
2022/01/11 更新

ffmpeg-output

ffmpeg-output 插件是个万金油输出,只要是 ffmpeg支持的协议,都可以通过这个 output 来输出。
详细内容参考这篇文章:obs 的高级输出 ffmpeg-output
2022/01/15 更新

本地文件录制

flv | mp4 | ts 录制

obs的视频录制支持丰富的流媒体协议。
详细内容参考这篇文章:ffmpeg_muxer 视频的录制(flv-mp4-ts-srt-udp-tcp)
2021/12/22 更新

编码器源

x264编码器源

obs 软编使用 libx264进行编码。支持设置动态码率。
详细内容参考这篇文章:obs中 x264编码器的使用
2021/12/22 更新

obs-qsv11编码器

Intel media sdk的硬编功能。用来支持H264硬件编码。
详细参考:英特尔® 媒体 SDK

aac opus 音频编码器源

obs支持 aac opus 音频编码
详细内容参考这篇文章:obs aac opus 音频编码器的使用
2022/01/12 更新

coreaudio-encoder

obs 直播的过程中,支持使用很多种不同的 AAC编码器。它大概会按照 Core-audio(苹果 iTunes里的那个)、FDK-AAC、Windows Media Foundation、FFMpeg 这样的顺序一个个找下去找到能用的。

coreaudio-encoder 就是苹果iTunes里的那个 AAC 音频编码器。
如何使用 Core-audio 请参考:启用 CoreAudio AAC 编码器(Windows)

转场特效源

所有的滤镜特效、转场特效、噪音抑制、声音增益都属于 filter,细节参考 obs-filters 项目。

高级场景切换器

该插件基于内置的场景切换器。它通过添加以下内容来扩展其功能:
基于音频的场景切换(音频选项卡)
基于媒体的场景切换(媒体选项卡)
基于系统时间的场景切换(时间选项卡)
自动场景切换序列(场景序列选项卡)
基于光标位置的场景切换(区域)
检测到空闲后切换到场景的选项(空闲选项卡)
基于可执行的场景切换(可执行选项卡)
基于文件内容的场景切换(文件)
改进了基于窗口标题的场景切换(全屏/最大化检测,忽略窗口)
能够为每个自动切换案例选择不同的转换(转换选项卡)
根据场景或窗口标题自动暂停场景切换器
启动和停止场景切换器的热键
场景变化触发动作

官网地址:https://obsproject.com/forum/resources/advanced-scene-switcher.395/
Git : https://github.com/WarmUpTill/SceneSwitcher

五、obs图形子系统

libobs-d3d11

基于 D3D11 的图形子系统,主要用在Windows系统。

libobs-opengl

基于 OpenGL 的图形子系统,主要用在Linux Unix系统。

本人对图形学了解不多,想要了解这两个渲染系统的工作原理,得先学习 D3D11 或者 OpenGL。
关于图形子系统的官方文档:https://obsproject.com/docs/graphics.html

六、公用基础库

jansson

Jansson是一个用于编码、解码和操作 JSON 数据的 C 库。其主要特点和设计原则是:

  • 简单直观的 API 和数据模型
  • 综合文档
  • 不依赖其他库
  • 完整的 Unicode 支持 (UTF-8)
  • 广泛的测试套件

Git 地址:https://github.com/akheron/jansson

deps\\json11 目录下有 C++ 11 版本的 JSON 库。只有两个文件,主要给 obs 主项目使用。c 语言版本的主要给 libobs 项目使用。

  • json11.hpp
  • json11.cpp

w32-pthreads

Win32 开源的 POSIX 线程库,Pthreads-win32 目前实现了 POSIX 标准线程相关 API 的一大子集。

为了跨平台开发 obs 线程相关函数都是使用 POSIX 标准,Win32 本身不支持 pthreads,所以使用这个库代替 Win32 相关的线程操作。

官方地址:https://sourceware.org/pthreads-win32/

glad

一个基于官方规范的多语言 Vulkan/GL/GLES/EGL/GLX/WGL 加载生成器。
使用 Python 开发的代码生成器,可以生成指定语言(C/C++/D/Volt/Nim/Pascal)的相关图像系统 api 的加载代码。

Git hub :https://github.com/Dav1dde/glad

obs 使用 glad 做 Vulkan/GL/GLES/EGL/GLX/WGL 相应版本的图形 api 加载。省去自己手动编写对应图像库的 API 加载代码。

总结

OBS Studio 涉及到的音视频知识非常多,以上只是将个人开发过程当中的常用的模块总结分享出来。

难免有疏漏或者错误的地方,如果发现,欢迎指正。

感谢您的阅读,祝您生活愉快,身体健康。

若有帮助幸甚。

2021/11/24 开始
2022/01/29/ 完结


技术参考

1.在OBS直播软件中使用FDK-AAC编码器:http://blog.sorayuki.net/?p=626

以上是关于obs-studio开源项目从入门到放弃obs-studio项目简介和架构的主要内容,如果未能解决你的问题,请参考以下文章

Git从入门到放弃

docker从入门到放弃

阿里开源的分布式分库分表中间件之MyCat从入门到放弃

30分钟Git命令入门到放弃

编译基于obs-studio的阿里巴巴直播工具tblive的过程和常见问题解决

vue从入门到放弃