谷歌 I/O 2021 在音视频领域中有哪些技术值得被关注？

Posted 2021-05-24 LiveVideoStack_

时隔两年Google I/O大会再次与大家见面。虽然去年的大会因新冠疫情被迫取消，但技术的迭代发展却未被打断，反而因疫情的影响促使了技术的创新变得愈加以人们的需求为首要考量，从而变得更具人性化也更具智能化。

整理 / LiveVideoStack

“在重要的时刻提供帮助”——是此次谷歌 I/O 2021大会的主题。从充满人情味的主题开场，并围绕AI在视频聊天、地图、医疗诊断、数据安全等方面发布了一系列最新的技术进展。而在音视频领域中最值得关注的是：全息视频聊天技术——Project Starline，谷歌AI芯片的最新版本——TPU v4，以及基于AI模型的皮肤病问诊应用程序。

Project Starline 3D视频聊天新体验

Project Starline 3D视频聊天互动 演示

该项技术可以说是本次大会的绝对黑科技了，使一些无法进行线下见面的人们（如：疫情影响）能够在同一空间中进行实时的3D互动聊天。据悉，Project Starline利用全息影像技术打破人们身处不同空间的隔阂，并与传统的视频聊天的区别在于，让你想见到的人就“坐”在你对面，感觉像是真的在你身边一样。

如图所示，就好像置身在一个「3D聊天室」当中

而为了实现这一技术，在硬件部分谷歌采用了65英寸的光场显示器，并配备了定制高分辨率传感器和数十个景深扫描传感器，从多个角度捕捉用户的外貌和动作，然后进行融合，并在联合驱动下生成流畅细致的实时3D模型。由于其所产生的数据每秒高达数千兆字节，因此，对于在现有网络上发送如此之大的图像，谷歌研发了新的压缩和流算法，可将数据减少100倍以上。

关键突破包括3D成像，实时压缩和3D显示

而在软件部分则是通过在计算机视觉、机器学习、空间音频和数据压缩技术等方面数年之久的开发，通过硬件与软件的整合才得以实现今天的Project Starline。除此之外，突破性的光场系统也是支持这一技术的亮点，让人们可以免去佩戴眼镜、耳机就能体验到逼真的体积和深度感。

目前Project Starline仅在谷歌的几个办公室中被应用，由于它依赖于定制的硬件和高度专业化的设备，还未在市场中进行推广。

新定制AI芯片TPU v4：性能提升10倍

在谷歌 I/O大会中还推出了谷歌最新定制的AI芯片——TPU v4。这类定制芯片对其所要处理的AI任务有着数量级的性能优势，如图像识别、语音助手、视频、视觉计算处理等。而TPU v4的动力来源于v4芯片，其速度是v3（上一个TPU版本）的两倍以上。TPU v4：一个Pods里面有4069个v4芯片，可以提供每秒 10^18 次浮点运算；并提供一个exaflop以上的容量，相当于一千万台笔记本电脑的计算能力之和，性能比上一代提升了10倍。Sundar Pichai表示：“这是我们部署过的最快的系统，对我们来说是一个历史性的里程碑”。而全球超算TOP 500排行榜第一名的日本富岳的最高性能也只有它的一半。

TPU v4芯片托盘

谷歌TPU之所以能够做到效率提高是在于：它可将看似相互独立的数百块芯片转为密切互联的单个系统来使用。Sundar Pichai谈到："每块芯片的互连带宽是其他网络技术的10倍"。并透露会在年底对开发者开放使用。

另外，TPU v4在提高效率的同时，其数据中心也将以90%（或接近）的无碳能源运行。

AI“问诊”：针对皮肤病的诊断新功能

本次谷歌 I/O大会的另一个亮点便是AI“问诊”。这是一个由AI驱动的皮肤病学辅助工具的预览，能够帮助人们了解自身皮肤、头发和指甲等有关的问题。并使用很多与CT扫描相同的技术来检测一些眼部疾病或肺癌。可通过手机的摄像头来识别皮肤病，如手臂上的皮疹。

其具体工作原理是基于Web应用程序，通过上传拍摄的图片，利用AI模型来分析图片中所出现的症状信息，从而为用户提供与之匹配的条件列表。对于条件列表中的每个匹配条件，都源自于皮肤科医生审核过的信息和常见问题的答案，以及来自网络中的类似匹配图像。然而，值得注意的是该应用程序所得出的匹配结果并不能作为诊断依据，也不能替代医学建议，因为许多情况还是需要在医院中进行专业的检查。因此，该应用的意义在于希望用户在此访问到权威信息，为下一步做出更为明智的决定。

该款应用工具已经过3年的机器学习研究和产品开发，并发表了多篇同行评审的论文，以验证其AI模型。除此之外，谷歌的深度学习方法对皮肤病的评估还曾发表于《自然医学》杂志中，并表明其AI系统可以达到与美国董事会认证的皮肤科医生相同的准确性。目前，为该款应用程序所提供的AI模型已成功通过了临床认证，其应用程序在欧盟也获得了CE标记为I类医疗设备。

编辑：Teresa Li

参考：

https://blog.google/technology/developers/io21-helpful-google/

https://blog.google/technology/research/project-starline/

https://blog.google/technology/health/ai-dermatology-preview-io-2021/

讲师招募 LiveVideoStackCon 2021 北京站

LiveVideoStackCon 2021 北京站（9月3-4日）正在面向社会公开招募讲师，欢迎通过 [e-mail] 提交个人及议题资料，无论你的公司大小，title高低，老鸟还是菜鸟，只要你的内容对技术人有帮助，其他都是次要的，我们将会在24小时内给予反馈。