Kurento实战之六：云端录制

Posted 2021-06-29 程序员欣宸

欢迎访问我的GitHub

这里分类和汇总了欣宸的全部原创(含配套源码)：https://github.com/zq2599/blog_demos

本篇概览

• 本文是《Kurento实战》系列的第六篇，前文咱们学习了通过KMS的组件播放流媒体，今天再来体验KMS的另一个强大功能：音视频录制，在播放的过程中，将音视频内容存储在KMS所在的硬盘上；
• 整个系统的架构如下图所示，和《媒体播放》相比，蓝色是新增内容，可见依旧保持了前文架构，在此基础上，本文会使用一个新的组件RecorderEndpoint，借助此组件，取得PlayerEndpoint上的音视频内容，再将其以mkv、mp4、webm等格式存储在硬盘上：

源码下载

• 本篇实战中的完整源码可在GitHub下载到，地址和链接信息如下表所示(https://github.com/zq2599/blog_demos)：

名称	链接	备注
项目主页	https://github.com/zq2599/blog_demos	该项目在GitHub上的主页
git仓库地址(https)	https://github.com/zq2599/blog_demos.git	该项目源码的仓库地址，https协议
git仓库地址(ssh)	[e-mail]:zq2599/blog_demos.git	该项目源码的仓库地址，ssh协议

• 这个git项目中有多个文件夹，本次实战的源码在kurentordemo文件夹下，如下图红框所示：
  
• kurentordemo是整个《Kurento实战》系列的父工程，里面有多个子工程，本篇对应的源码是子工程player-with-record，如下图红框：
  

编码

• 从前面的架构图可见，录制功能是基于前文《媒体播放》的架构进行增强的，因此本篇不再新建工程，而是在前文player-with-record工程的基础上增加一些代码即可；
• 打开UserSession.java，增加两成员变量：

// 日志类
private final Logger log = LoggerFactory.getLogger(UserSession.class);

// 每次播放对应的PlayerEndpoint对象，放在UserSession类中，这样便于执行关闭操作
private PlayerEndpoint playerEndpoint;

• UserSession类的release方法，以前只有关闭playerEndpoint和mediaPipeline的功能，现在又增加了playerEndpoint的关闭操作，如下可见，在关闭recorderEndpoint的时候，用CountDownLatch实例来阻塞当前线程，直到KMS反馈recorderEndpoint关闭成功后，才继续执行原有的关闭playerEndpoint和mediaPipeline的操作，这个很好理解，recorderEndpoint涉及到写硬盘导致耗时较长，如果在写的过程中关闭掉它的源头playerEndpoint，是不合适的（playerEndpoint和mediaPipeline的关闭都会触发recorderEndpoint的关闭操作）：

  public void release() {
    // 关闭录制组件
    if (recorderEndpoint != null) {
      log.info("do stop recorder endpoint");
      final CountDownLatch stoppedCountDown = new CountDownLatch(1);

      // 增加监听，等待KMS关闭录制组件的结果
      ListenerSubscription subscriptionId = recorderEndpoint
              .addStoppedListener(new EventListener<StoppedEvent>() {
                @Override
                public void onEvent(StoppedEvent event) {
                  log.info("finish stop recorder endpoint");
                  // 关闭成功后，把锁打开，这样stoppedCountDown.await方法就不再阻塞
                  stoppedCountDown.countDown();
                }
              });

      // 执行停止操作
      recorderEndpoint.stop();

      try {
        // 当前线程开始等待
        if (!stoppedCountDown.await(5, TimeUnit.SECONDS)) {
          log.error("Error waiting for recorder to stop");
        }
      } catch (InterruptedException e) {
        log.error("Exception while waiting for state change", e);
      }

      // 移除监听器
      recorderEndpoint.removeStoppedListener(subscriptionId);
    }

    this.playerEndpoint.stop();
    this.mediaPipeline.release();
  }

• 新建文件PlayerRecorderHandler.java，内容和之前的PlayerHandler一模一样，在start方法的尾部增加以下代码，有几处要注意的地方稍后提到：

    // 以当前的年月日时分秒作为文件名
    String path = "file:///tmp/" + new SimpleDateFormat("yyyyMMddHHmmss").format(new Date()) + ".mp4";

    log.info("save path : {}", path);
    
    // 实例化录制组件
    RecorderEndpoint recorderEndpoint = new RecorderEndpoint
                                            .Builder(pipeline, path)
                                            .withMediaProfile(MediaProfileSpecType.MP4)
                                            .build();

    // 关联到用户，停止播放的时候
    user.setRecorderEndpoint(recorderEndpoint);

    // 连接到播放组件
    playerEndpoint.connect(recorderEndpoint);

    // 开始录制
    recorderEndpoint.record();

• 上述代码中要注意的有两处：

1. withMediaProfile的参数MediaProfileSpecType决定了存储文件的格式，以及具体的内容（音频、视频、音频+视频），看源码一目了然：

public enum MediaProfileSpecType {
	WEBM, 
	MKV, 
	MP4, 
	WEBM_VIDEO_ONLY, 
	WEBM_AUDIO_ONLY, 
	MKV_VIDEO_ONLY, 
	MKV_AUDIO_ONLY, 
	MP4_VIDEO_ONLY, 
	MP4_AUDIO_ONLY, 
	JPEG_VIDEO_ONLY, 
	KURENTO_SPLIT_RECORDER}

2. 通过playerEndpoint.connect建立组件之间的连接，这样录制组件就能取到合适的录制内容了；

• 修改PlayerWithRecorder.java，增加以下方法，用于新建bean实例：

  @Bean
  public PlayerRecorderHandler playerRecorderHandler() {
    return new PlayerRecorderHandler();
  }

• 再修改PlayerWithRecorder.registerWebSocketHandlers方法，改为用PlayerRecorderHandler来处理websocket：

  @Override
  public void registerWebSocketHandlers(WebSocketHandlerRegistry registry) {
//    registry.addHandler(handler(), "/player");
    registry.addHandler(playerRecorderHandler(), "/player");
  }

• 本篇只是展示录制功能，因此做得很简单，开始播放时就开始录制，停止播放时自动停止录制，实际的操作方式可以更加灵活，例如增加独立的开始录制和停止录制按钮；
• 编码已经完成，接下来开始验证；

验证

• 注意：当player-with-record应用和KMS部署在不同电脑上时，录制的文件在KMS所在电脑上
• 启动KMS
• 启动player-with-record应用
• 播放广东卫视rtmp://58.200.131.2:1935/livetv/gdtv：
  
• 播放了一会儿然后停止播放，去检查kms容器内部，发现已经新增文件20210621075820.mp4，再执行docker cp命令将其从容器中复制到宿主机上：

[root@centos7 ~]# docker exec kms ls /tmp
20210621075820.mp4
[root@centos7 ~]# docker cp kms:/tmp/20210621075820.mp4 ./
[root@centos7 ~]# ls
20210621075820.mp4

• 用VLC播放此文件，声音和图像都正常：
  
• 接下来将我这边遇到过的几个问题小结一下，希望能得到您的重视，这都是坑啊…

要注意的地方

• 下面是在实际使用过程中遇到的几个坑，请提前注意：

1. 要等recorder停止成功后，才去停止其他组件，因此执行了recorderEndpoint.stop方法后，要等待KMS通知执行成功，才能继续关闭playerEndpoint和mediaPipeline
2. 流媒体中同时包含了视频流和音频流，才可以使用MediaProfileSpecType.MP4，如果只有视频流没有音频流，要使用MP4_VIDEO_ONLY，否则，可能导致生成的mp4文件大小为零，对应webm和mkv格式也有同样问题，请注意
3. MP4作为音视频的容器，对音频格式的兼容性不够好，如果录制的mp4文件没有声音，请改为webm格式再试试
4. 如果播放的是网络摄像头的RTSP流，那么此时音频编码格式可能是pcm，此时有可能录制的文件没有声音

• 至此，云端录制功能的开发和验证都完成了，如果您正在使用kurento，希望本文能给您一些参考；

你不孤单，欣宸原创一路相伴

1. Java系列
2. Spring系列
3. Docker系列
4. kubernetes系列
5. 数据库+中间件系列
6. DevOps系列