WebRTC 概念介绍--一篇读懂sourcetracksinkmediastream

Posted 2022-03-30 一苇渡江694

名词解释

source：媒体流提供者

track：应用持有的媒体流，可以用来播放

sink：媒体流接受者

source是生产媒体资源的，sink负责消费

source —(提供媒体流)—> track —(输出媒体流)—> sink

对于流媒体系统来说，产生数据的装置叫Source，接收数据的装置叫Sink。

如果一个source 可以属于多个track, 这样就可以让不同的sink 绑定同一个source，会导致无法应对多种状态

track 中保存了一些状态信息和处理，这样就和source 解耦

webrtc中抽象了VideoSourceInterface和VideoSinkInterface分别表示Source和Sink

source摄像头采集到图像之后，保存视频，成为视频源，编码和本地渲染需要消费图像做处理，类似于生产和消费的概念
对于消费者，也就是sink来说，如果我想要增加一个消费者，我继承sink接口，塞到保存视频源的实例里面去，让实例不断给我塞数据给我消费即可（onFrame），所以sink的接口定义比较好理解

头文件：media_stream_interface.h