开发那些事儿：在Flv.js前端播放器中解析并绘制H.264编码中的SEI信息

Posted 2022-07-18 TSINGSEE

流媒体中的SEI是指补充增强信息（Supplemental Enhancement Information），它提供了向视频码流中加入信息的办法，是H.264/H.265视频压缩标准的特性之一。SEI可以实现的功能包括：传递编码器参数、传递视频版权信息、传递摄像头参数、传递内容生成过程中的剪辑事件、传递自定义消息等。

虽然SEI只是视频标准里面很小的一部分，但在应用过程中，比如直播问答项目中SEI承载的信息，就能极大提升直播观看和答题操作的整体用户体验。用户也可以根据自身场景需求，利用SEI的特性去拓展更多的业务功能。

今天和大家分享一下我们在项目中实现了Flv.js前端播放器中解析264编码中的SEI信息，并解析绘制。

设计逻辑：

后端根据分析结果，在H.264编码中添加自定义的SEI信息，SEI信息中包含矩形区域坐标信息、分析类型等信息。如果前端在播放视频时实时显示相关信息，需要在flv.js中解析出对应的SEI信息并绘制。

下图为控制台中打印的SEI信息：

js中解析对应的SEI信息：

绘制效果如图：

视频编码技术的进步推动了视频监控在安防等多场景中的应用和拓展，解决了高清视频监控在网络带宽、解码显示能力、存储资源上遇到的难题，促使安防视频监控朝着更加智能化、高清化、联网化的方向发展。随着人工智能技术的不断落地应用，TSINGSEE青犀视频也逐渐将AI智能检测技术融合到视频平台，包括人脸检测、人流量统计、车辆检测、车牌识别等。

近期我们也推出了基于边缘AI智能分析技术的安全生产摄像机，设备内置多框架AI算法，在企业的安全生产监管场景中，可实现安全帽检测、防护服检测、烟火检测、室内通道堵塞检测、睡岗离岗检测等智能检测功能。感兴趣的用户可以前往演示平台进行体验或部署测试。