独立空间音频打造360°沉浸声场,小米让科技更无界
Posted 小米技术
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了独立空间音频打造360°沉浸声场,小米让科技更无界相关的知识,希望对你有一定的参考价值。
在小米最新发布会中亮相的小米Buds 4 Pro,凭借旗舰级降噪、高保真音质和超长续航等优势,成为众多新产品中的焦点。而在众多华丽功能中最为亮眼的,则是小米自研的全新独立空间音频技术。
这一技术实现了空间音频技术在耳机内部芯片上的独立计算,无需依赖外部设备,即可营造出水平360° 的立体听感,既使头部转动,声源仍然保持固定,宛如置身现场。
戴上耳机🎧,一键直达漫天烟花的夏天夜晚~
独立空间音频功能一经亮相则艳惊四座,用户反馈也好评如潮。让我们一起了解其背后技术研发的故事。
01
独立,想法何来?
空间音频是一种通过声音的计算来还原空间感的技术,试图提供一种符合人直觉与习惯的听觉体验,目前在市面上已经有多个上线技术已经相当成熟。
然而传统空间音频技术因为算法复杂、计算量大,因而必须依赖指定品牌及型号的外部设备运行,而手机与耳机之间数据的来回传递也会导致过高的延时,从而干扰沉浸体验。
传统空间音频运作原理
小米工程师想到,如果打破已有技术路线的桎梏,直接让空间音频在耳机内部进行独立运算,是否可以将延时尽可能地缩短?这一设想被马上付诸于行动,最初的测试版本果然如同预期,延迟很小。
一个冒险的想法,一次满足预期的测试,由此开启了小米AI实验室声学团队近两年的研发之路。
02
要好用,也要好听
独立空间音频作为一个技术模块,主要分为两部分,一部分是“360 声场”,其在保留声源方向感的同时,会伴随产生扩散或者混响的效果,形成声音好像把听者包围起来的听感。
另一部分为“头部追踪”,通过耳机内置的六轴传感器,智能识别并动态跟踪头部方向,将声场的位置与对应方向形成映射,从而打造360° 环绕和声随头动的沉浸式体验。
1 自研声学算法探索性能“天花板”
这项技术实现所要面临的首要难题就是算法的优化。尽管耳机内置芯片具备旗舰级水准的算力,但是想要直接承担手机处理器的工作还是有些吃力。哪怕经过简单优化之后,也会导致声音卡顿和高延迟的情况。而且也会出现转头引发的听感突变以及前后方向混淆等细节问题。
因此,小米工程师认为,需要完全修改传统空间音频的工作逻辑,自主开发全新算法。在保证听感的情况下,工程师们优化了处理代码,并将计算量大幅压缩,实现在耳机算力限度内性能的“天花板”:
陀螺仪算法:通过更少的计算,在两个陀螺仪数据间作出取舍和平衡,尽可能降低误差,保持方向识别持续的高精度。
双耳重放算法:陀螺仪算法得到的姿态信息和对应角度的头相关传递函数,进行双耳重放,即可模拟出真实场景下双耳听感(声随头动)。
2 “在几百个几乎一样的版本中选一个最好听的”
好听,是一个极其主观的评价。而作为致力于营造沉浸空间感的耳机,小米Buds 4 Pro 的“好听”标准非同一般。在音质之外,对于方向感的体验,评价同样千人千面。因而为了使成品得到更多人的认可,小米工程师经历了无数次的测试,甚至达到了吹毛求疵的程度。
由于人的生理特性差异会影响方向感的感知,因此团队需要针对同一首歌,对几百个人的听感进行数学模型处理,以特定的姿态进行反复试听,从而进行听感对比。
除此之外,数学模型处理方法和音频处理方法也在持续的迭代,反复的修改导致不断地升级处理。为了提升效果,工程师还专门写了一个盲听的测试软件。“在几百个几乎一样的音频中选出一个最好的,真的是太难了,现在听到这首歌甚至都有生理性的反应。”
盲听测试软件界面
最终,团队的共同努力没有白费,小米Buds 4 Pro 的空间音频实测效果完美达到预期,甚至比计划还要提前两个月完成。
03
新技术,让新耳机更强悍
基于独立空间音频技术,小米Buds 4 Pro 在多个方面都达到了行业领先水平:
超低延迟:相比小米上一代支持空间音频的耳机,转头延迟降低74%,用户感受提升明显;
普遍适配:只要是任何支持蓝牙立体声输出的设备,无论是电视、Switch、Pad 还是小米品牌之外的手机,连接小米Buds 4 Pro耳机,都可以获得原汁原味的空间音频体验;
全方位听感:此前市面大部分产品只能支持180° 的方位限制,而小米Buds 4 Pro 的方位感知能够达到水平方向的360°,真正做到”全方位环绕听感“。
有了独立空间音频的小米Buds 4 Pro ,在听音乐时有着如同置身于live 的现场体验,音乐的元素真正在你的面前铺开——头向左转可以听到左前方的架子鼓,头向右转可以听到右前方的电吉他,头转回中间则继续收听主唱的声音。
与视觉效果结合,则能够碰撞出极佳的沉浸效果,看电影时如同亲临电影院一般,尽情享受云端观影的快乐。
独立空间音频是传统空间音频的下一代,正如研发出这一技术的小米工程师们一样,永远对技术的下一代方向有着饱满的好奇心和无尽的探索力。
未来,游戏可能成为即将开发的新场景,比如在射击游戏中,通过转头的方式可以实现听声辩位,更早的识别敌人的位置,取得先机。此外,这项技术也将尝试适配AR、VR、MR 等虚拟现实场景,通过更简便的智能设备,呈现更为融合的沉浸式视听体验。
❤ CSDN精心打造一款插件,让你的浏览器:解锁黑科技个性十足沉浸式体验 ❤
🍅 作者:不吃西红柿
🍅 简介:CSDN博客专家🏆、HDZ核心组成员💪、C站总榜前10名✌
🍅 粉丝专属福利:简历模板、PPT模板、学习资料、面试题库。文末领取
🍅 如觉得文章不错,欢迎点赞、收藏、评论
今日重点:安利一款CSDN精心打造的插件:解决你在浏览器上遇到的各种问题,无论你是学生小白、还是职场老鸟,都可以借助这个插件,打造个性化浏览器,提升工作学习效率。
目录
插件官网链接 CSDN开发助手
一、插件功能大揭秘
功能大揭秘
沉浸式阅读:可自动去掉博客文章侧边栏和各种广告,打造纯粹无打扰的阅读体验
打开浏览器,新标签页粗糙简陋?:标签页皮肤随时换新,常用网站自动整合,极简实用!
搜索时,每次都要打开新页面?:在任意界面点按字母C,免跳转即刻搜索, 简单高效!
灌水时,站内广告多访问速度慢?:从源头去广告,所占内存更小,速度更快,清爽干净!
工作时,想实现一键json转换?:按字母C输代码,两步即可进行JSON转换。干净利落!
一键极简搜索:任意网页下,键盘按下字母 『C』,即可弹出万能搜索框,一键搜索全网内容+本地书签+历史记录,大幅提升搜索效率。
更多快捷键:键盘按下 “b” : 仅搜索书签 ; 键盘按下 shift+"t" ,切换标签页
按字母“C”呼出万能框:在万能框输不同的短口令,即可实现一键JSON转换 、一键转换二维码、一键翻 译等,高效彩蛋技能不断更新中,高效解决开发问题。
提示:键盘按字母C,在万能框输入『help』可查看全部神奇的彩蛋口令代码!
......
功能演示:沉浸式阅读:
1、未开启的时候,会看到侧边栏的广告、或顶部广告
2、开启后 ,沉浸在知识的海洋,整个世界都安静了
功能演示:换浏览器壁纸 和 生成二维码:
还有很多 很多“黑科技”
二、如何白嫖安装
在安装方面,当然也非常简单: CSDN开发助手
有任何问题可反馈或加官方微信群咨询。
第一步下载安装包
第二步 打开扩展管理页面
浏览器输入地址“ chrome://extensions/ ”进入扩展程序页面,开启开发者模式
第三步 以下操作任选其一
1.crx文件安装:将crx文件拖拽到“chrome://extension”页面, 完成安装
2.Chrome商店安装:前往商店安装
3.zip文件安装:将zip包解压到任意目录,点击“加载已解压的扩展程序”按钮, 选择已解压的插件目录完成安装。
注:zip安装方式需手动替换文件升级。zip包版本迭代比Chrome商店更快,如有问题,欢迎加群沟通反馈
三、更多功能,未来可期
除了上面提到了基础功能,还有很多很多的“黑科技”,CSDN也太牛皮了8
插件官网链接 CSDN开发助手
小伙伴们,用起来吧~
粉丝专属福利
🍅 行业资料:关注即可领取PPT模板、简历模板、行业经典书籍PDF。
🍅 交流加群:大佬指点迷津,你的问题往往有人遇到过,求资源在群里喊一声。
🍅 面试题库:由技术群里的小伙伴们共同投稿,热乎的大厂面试真题,持续更新中。
🍅 学习资料:含编程语言、算法、大数据生态圈组件(Mysql、Hive、Spark、Flink)、数据仓库、前端等。👇👇👇👇👇👇👇
以上是关于独立空间音频打造360°沉浸声场,小米让科技更无界的主要内容,如果未能解决你的问题,请参考以下文章
HMS Core音频编辑服务音源分离与空间音频渲染,助力快速进入3D音频的世界
HMS Core音频编辑服务音源分离与空间音频渲染,助力快速进入3D音频的世界
HMS Core音频编辑服务3D音频技术,助力打造沉浸式听觉盛宴