融云任杰：强互动，RTC 下一个“爆点”场景 | 拟合

Posted 2021-06-28 AI科技大本营

从无序中寻找踪迹，从眼前事探索未来。

2021 年正值黄金十年新开端，CSDN 以中立技术社区专业、客观的角度，深度探讨中国前沿 IT 技术演进，推出年度重磅企划栏目——「拟合」，通过对话企业技术高管大咖，跟踪报道企业前沿技术资讯，分享真知灼见，以点到面折射出中国 IT 技术最新动态，传播技术影响力，帮助开发者与企业捋清思路，共创数字经济新未来。

实时音视频 RTC（Real-Time Communication），是新冠疫情黑天鹅事件中快速普及并崛起的技术与行业。2020年6月声网纳斯达克上市，年底即构获腾讯5000万美元C轮投资，2021年初马斯克带火语音社交Clubhouse。

资本加码，爆款应用，让实时音视频的想象空间再次被放大。《拟合》将试图从头部公司与用户的观点中，探知实时音视频的下一个爆点。

受访者 | 融云 CTO 任杰

作者 | 宋慧

出品 | AI 科技大本营（ID:rgznai100）

音视频从C端一直火到了开发界。Clubhouse刚爆红时，一位工程师仅用 72 小时就复刻了网页版的 Clubhouse。本期《拟合》专访了融云 CTO 任杰，对于 RTC 技术关键点、创新的使用场景有哪些，未来 RTC 将引爆什么行业，开发者的机会又在哪里，听听他的看法。

融云CTO 任杰

RTC 的新挑战

在 RTC 普及之前，高大上的视频会议和电视电话会议，需要用到专网和专有硬件。大概在 2012 年前后，随着 3G、4G 网络的建设和 Wi-Fi 普及，RTC 技术开始进入互联网。不过，任杰提到，各种手机、PC等设备都开始进入了互联网的视频通信领域，设备变得不可控。另外，从专有网络变成了广域网和互联网以及无线网络、4G 网络，网络也变得不可控。

“PC 不是为了通信这个场景进行的设计，所以在回声消除、降噪、视频采集编码层面都有不同的处理，有很多设备适配、算法的重新适配，大量细碎的功能要去做；手机在无线网络下，丢包和带宽会有瞬时变化，这些是新场景下面临的新问题，我们要重新去解决它，用新算法、新模式去处理它。”任杰说。

2021 年初，W3C（万维网联盟）和 IETF（互联网工程任务组）宣布 WebRTC 成为官方标准，任杰认为 WebRTC 被标准化组织接纳认可，但并不代表着 RTC 的技术已经成熟。“一个行业如果在持续爆发和持续高发展阶段，我们很难说它的技术是成熟的，因为场景越来越多，运用的设备技术也越来越多。音视频编码在不断变化，新场景下的网络对抗、机器学习、降噪技术，都在持续井喷的发展过程中。”任杰如是说。

新的技术、场景，也带来了新的挑战。任杰总结了四个融云在现阶段面临的RTC挑战：

1、高清视频：随着 Wi-Fi 和 5G 等基础设施的升级，用户对音视频质量要求更高，融云会跟随新的编码标准去提供高质量、高码率、高帧率的视频体验。

2、语音还原度：传统算法已经不能满足现有高质量、高还原度的使用体验与要求，RTC 将与 AI 结合，研发降噪、提升智能分辨率、提高整体视觉清晰度的技术，这是融云 RTC 技术研发的一大方向。

3、大量智能设备适配：除了安卓，将有大量实时操作系统 RTOS 设备进入 RTC 领域，而这些设备有些配置较低，标准参差不齐，都需要 RTC 厂商做好适配，保证交互体验。

4、全球节点部署，服务出海开发者：互联网市场的人口红利在逐渐消失，出海开发者的音视频业务需求量很大，融云在做全球节点的部署，以及更好的调度算法，确保全球任何一个地方、任何一种方式接入，都有优越的音视频体验。

RTC 的三大创新场景

虽然疫情让 RTC 极大普及，但是任杰认为，疫情本身并未创造新的 RTC 场景，而是推动了音视频在各类场景和行业落地，加速了 RTC 发展进程。

他举例说明，在线教育毫无疑问是疫情中被推动与广泛落地的 RTC 场景。除了k12（kindergarten through twelfth grade，学前教育至高中教育的缩写，代指基础教育）的在线课程外，现在素质教育也在向线上迁移。不过与基础教育不同的是，素质教育涉及经验的传递和指导，是更加个人化的过程，例如音乐、绘画，过程要求比较高。RTC 技术与使用体验感的提升，将有助于素质教育的在线化进程。

教育的另一个创新场景是在线考试，考试一直是严肃的事，过程控制更加严格。而因为疫情影响，考试也开始线上化，例如考场设前置摄像头、后置摄像头，并全程录像，方便监督和考试后抽查。

除了教育，任杰提到第二个 RTC 创新场景将是强互动型与娱乐应用。电商直播、共享电影、线上拍卖、3D 虚拟形象的语音社交、在线合唱等等，这些强互动型应用将会越来越多，值得开发者从产品层面发挥想象力。

第三个创新场景在行业应用中，疫情之后需要“无接触服务”各个行业，包括政府办事、金融、保险、交通、海关等等领域，都在将办事、审批服务过程转向线上，这些也是RTC非常重要的新场景。

当 AI 遇见 RTC

对于 RTC 和 AI、5G 等新技术的融合趋势，任杰分别介绍了 AI 技术对音视频领域四类问题的解决办法。

AI 智能降噪。比如在线教育场景下，（老师/学生）敲击键盘、倒水、咳嗽的声音，过去的算法对这些非稳态噪音无能为力，而AI技术可以分辨的场景和分辨的噪声更多，将帮助RTC在降噪方面有较大提升；

AI 超分处理。在相同带宽下传输的视频图像，利用AI技术可以使其在解码还原后较之前更加清晰；

利用 AI 技术把不同的视频场景或者音频场景分辨与分开。对于静态场景编码、清晰度和帧率的控制，对于动态场景下编码和帧率的控制，用AI技术都可以将其区分开，做不同的处理；以及用AI技术重构带宽估计的算法。

对于更远的未来，在全真互联网时代，任杰表示，音视频从采集到编码、传输、解码、渲染、互动的整个过程，将是全真互联网必须具备的一大块能力，而RTC有望成为全真互联网的基础设施。

受访者简介：

任杰：融云CTO，负责融云音视频整体技术规划和演进；拥有 20 年以上互联网通信领域产品设计、架构设计、技术研发经验，是移动通信领域顶级技术专家，致力于为全球开发者提供专业的互联网通信云服务；加入融云前，曾担任神州泰岳集团副总裁；原飞信CTO，带领飞信平台从零开始到千万在线；曾担任微软中国顾问咨询部电信行业负责人，带领团队完成多个千万级项目的实施。

更多精彩推荐后疫情时代，RTC期待新的场景大爆发
Python + 爬虫：可视化大屏帮你选粽子
二次元会让人脸识别失效吗？
点分享点收藏点点赞点在看