打破虚拟边界的视频交互新方式，AR隔空书写的应用理念和探索实践

Posted 2022-04-20 阿里云视频云

 AR隔空书写演示

随着技术的发展和超视频化的时代驱动，交互的形式日渐丰富。从屏幕点触，到语音交互，人脸、指纹、声纹，再到近年流行的AR和VR……人类早在语言出现之前便习惯使用肢体和手势这种近乎本能的沟通方式来进行交流，作为最基础和自然的交互方式，手势交互的应用场景越来越多。

当前，市面上大部分视频应用的手势交互逻辑，主要是通过某个具体手势触发预置的单个特效，这种较为简单的交互不仅不能发挥出人类灵活手掌的潜力，在终端上的识别效果也有较大的提升空间。

尤其是受疫情影响以及在音视频会议和协同办公需求巨大的今天，使用实体白板画图写字进行远程沟通和协作非常困难。

虽然市面上有类似虚拟白板的产品，但是这类产品主要还是依赖于鼠标等设备来进行输入，我们可以利用手势的天然优势，代替鼠标、键盘、触屏等交互方式，实现AR隔空书写，在办公、生活、娱乐场景发挥其巨大价值。

AR隔空书写，打破虚拟白板壁垒

如何通过AR隔空书写来实现一个完善的虚拟白板？

最直接的想法是把写字的内容渲染在屏幕上，例如最近一个较火的开源项目“Yoha”便是通过这个想法实现了效果，但这也面临着因为摄像头视角有限导致字无法写得很小和书写内容有限等问题。

另一种方案，可以通过先书写一部分内容，将其缩小后，再写另一部分内容。这种解决方案看似可行，却面临着排版困难以及前后内容连续性差等问题。

阿里云视频云美颜特效SDK（以下简称“美效SDK”）的AR隔空书写能力，通过把AR隔空书写的窗口悬浮在虚拟白板上，使得AR隔空书写窗口可以自由的放大、缩小、平移，这样用户就可以自由控制写字的大小和位置，对书写内容的排版也会更具操控性。

对于摄像头捕捉的每一帧图像的边缘进行裁剪，然后再悬浮在白板上，用户可以放大或缩小ROI窗口，来实现对书写内容的大小和精细度的控制。

用户还可以通过移动AR隔空书写窗口来控制写字的位置。

当使用者的手势（虚拟笔尖）移到AR窗口边缘附近的时候，AR窗口将会自动朝对应的方向移动（参考DOTA、LOL、魔兽争霸等游戏移动窗口）。

参考动图，这种身体不需要移动的操作方式不仅符合人的书写使用习惯，也使得移动窗口的便利性和使用舒适性大大提高。

阿里云视频云将该AR隔空书写能力作为“隐藏黑科技”集成在钉钉的音视频会议硬件产品中，该能力可以帮助参会者在远程会议中通过隔空书写或是画图来助力沟通。在近期的钉钉发布会上，阿里云视频云也对该能力进行了交互展示。

钉钉2022线上发布会，AR隔空书写现场演示

丰富虚拟特效，让视频交互更趣意

AR隔空书写还可以和粒子特效结合，展现出雪花、火焰、水滴、花瓣、烟雾等各类丰富炫酷的特效，为用户进行个性创作提供发挥空间，让视频交互更美感、更有趣。

AR隔空书写能力近日上线于阿里云视频云的美效SDK，这是基于自研的面部关键点位技术，支持画面美化、人像美颜、抠像制作、贴纸美妆、动作识别、智趣交互、抠像处理等多种个性化的定制美效交互服务。

美效SDK具备多维度优势：

• 效果好：功能全面、一键组合与逐项DIY
• 包体小：基础美颜功能仅需0.78M
• 性能优：android最低支持4.3系统，ios系统最低支持到iOS-8系统，Mac支持最新M1
• 接入快速可定制：独立组装拆解、按需参数级调整定制

基于一系列的应用优势，美效SDK适用于直播、拍摄、会议、电商等多种业务场景，完美平衡了效果美化与性能开销的问题，助力视频交互更丰富智趣。

可以预见的是，手势交互是未来人机交互必不可少的一部分，一个轻盈无边界的沉浸式虚拟世界，不可能完全依赖“手持设备”和实体的“触点交互”，用技术解放双手才是虚拟与现实无缝链接的正确打开方式。

视频化场景的交互瓶颈已初显，阿里云视频云基于美效SDK的AR隔空书写能力的研发与应用，为超视频化时代的智趣新交互提供了更多可能，推动视频交互走向更远。

想体验AR隔空书写Demo或者交流的读者欢迎钉钉搜索群号：34197869，或扫下方二维码加入

---

「视频云技术」你最值得关注的音视频技术公众号，每周推送来自阿里云一线的实践技术文章，在这里与音视频领域一流工程师交流切磋。公众号后台回复【技术】可加入阿里云视频云产品技术交流群，和业内大咖一起探讨音视频技术，获取更多行业最新信息。