使用树莓派实现(山寨)高清视频叠加(HDMI OSD)

Posted 2020-09-30 yangzifb

项目需要在HDMI上叠加一些字符包括汉字和数值，要求不能使用台式机，本身也没有HDMI采集卡驱动开发能力，所以通过海思的HDMI编码器将HDMI编码为h.264网络视频流，然后通过树莓派解码显示，做字符叠加（OSD），将树莓派的HDMI输出接在电视上，就实现了HDMI的高清视频字符叠加。
1、中文字符问题
　　opencv实现中文字符显示需要依赖freetype，所以这里简单的加载一张图像模板，opencv在模板上添加数字，汉字部分不需要动在模板中写好即可。
2、树莓派串口问题
首先read的时候报错：
　　device reports readiness to read but returned no data (device disconnected?)
然后重新打开，报错：
　　Could not configure port: (5, \'Input/output error\')
用minicom打开正常，再用程序打开也正常
整个系统经常假死，ssh无法连接，已经连接的终端不断开，但无法操作，鼠标能移动，但界面无反应。软件停止运行，但有时视频能正常播放。
将树莓派的硬件串口引出后，问题解决。
3、视频显示问题
一开始使用nanopi-M1，但播放视频时发现卡顿严重，1080p仅能播放14帧每秒。使用OpenCV-Python直接打开rtsp流，进行叠加显示，结果卡顿严重，基本上全是绿屏。CPU占用率单核100%，说明opencv使用软解，无法达到实时。
通过ffmpeg播放rtsp流，效果一样。通过ffmpeg播放时，解码部分是硬解，但转码部分没有优化，导致CPU占用达到100%，不能流畅播放。
通过mplayer指定解码器播放视频文件流畅，CPU占用30%，所以应该是用GPU解码的：
　　mplayer rtsp://192.168.1.90:554/ -vo vdpau -vc ffh264vdpau
使用mplayer播放rtsp时，CPU占用率低，但播放不流畅。怀疑是mplayer的rtsp部分有问题，现在也没有解决。

所以用树莓派继续尝试。
在树莓派3上使用omxplayer直接播放rtsp视频：
　　omxplayer --avdict rtsp_transport:tcp rtsp://192.168.1.90:554/
但延时高。而且也没有找到方法做osd。所以找了这个链接：https://github.com/AndrewFromMelbourne/raspidmx，用这里边的例子pngview实现了PNG图像在显示器上透明显示，一边用omxplayer播放rtsp视频，一边用opencv绘制PNG图像，再通过pngview画到显示器上，就实现了视频osd功能。

单张PNG叠加实现后，将pngview编译成动态库，由Python调用，但叠加几次以后黑屏，无法解决。所以pngview仍然作为独立进程使用，Python 调用opencv在PNG模板上绘制数字，保存在内存文件系统/tmp下，然后调用pngview显示，启动pngview后，延时50ms杀死上次启动的pngview，防止闪屏。

内存文件系统：
在/etc/fstab中加入一行：
　　none /tmp tmpfs default 0 0
或者在/etc/rc.local中加入
　　mount tmpfs /tmp -t tmpfs -o size=128m
注：size=128m 表示/tmp最大能用128m
不管哪种方式，只要linux重启，/tmp下的文件全部消失

这样就实现了HDMI视频osd功能。效果如下：

4、显示分辨率问题
解决视频显示以后，本以为就完成了。但是断电重新开机时，发现屏幕分辨率不对。
　　1、使用显示器直接连接树莓派，显示器先上电，树莓派再上电，分辨率1280*720，一切正常
　　2、使用显示器直接连接树莓派，显示器稍晚1s上电，树莓派不启动图形界面，显示器上显示无信号
　　3、使用以色列图传连接树莓派，同时上电时，显示分辨率变为640*480，无法改变
　　4、使用以色列图传连接树莓派，图传上电以后树莓派上电，显示分辨率为1920*1080，无法改变，视频正常播放，osd正常叠加，但视频和osd一起运行，屏幕花屏，然后黑屏。截掉任意一个程序，恢复正常。
问题无法解决，所以开机时检测屏幕分辨率，若分辨率不对，就重启，由于分辨率问题是树莓派与显示器一起上电导致的，所以重启后分辨率就对了，就形成了以上的第四种情况，然后又接了一个HDMI双路视频切换的盒子，这个切换盒与树莓派同时上电可以获得正确的分辨率，于是问题解决了……
所以系统拓扑如下……

由于不具备全系统开发能力，无法提高系统集成度，只能依靠买来的模块攒，最终无法做出稳定可靠的东西