声临其境,轻松几步教你把音频变成3D环绕音
Posted HMSCore技术团队
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了声临其境,轻松几步教你把音频变成3D环绕音相关的知识,希望对你有一定的参考价值。
在音乐创作、音视频剪辑和游戏等领域中,给用户带来沉浸式音频体验越来越重要。开发者如何在应用内打造3D环绕声效?请添加链接描述6.2.0版本此次带来了空间动态渲染功能,可以将人声、乐器等音频元素渲染到指定的三维空间方位,支持静态和动态渲染两种模式,进一步提升应用中的音效体验。开发者可以点击查看以下Demo演示,了解集成效果并上手实验功能特性。
开发实战
1. 开发准备
开发者提前准备音乐素材,MP3格式最佳。其他音频格式请参考“2.4”步骤转换,视频格式请参考“2.5”步骤进行音频提取。
1.1项目级build.gradle里配置Maven仓地址:
buildscript
repositories
google()
jcenter()
// 配置HMS Core SDK的Maven仓地址。
maven url https://developer.huawei.com/repo/
dependencies
...
// 增加agcp插件配置。
classpath com.huawei.agconnect:agcp:1.4.2.300
allprojects
repositories
google()
jcenter()
// 配置HMS Core SDK的Maven仓地址。
maven url https://developer.huawei.com/repo/
1.2 文件头增加配置:
apply plugin: com.huawei.agconnect
1.3 应用级build.gradle里配置SDK依赖:
dependencies
implementation com.huawei.hms:audio-editor-ui:version
1.4在AndroidManifest.xml文件中申请如下权限:
<!--震动权限-->
<uses-permission android:name="android.permission.VIBRATE" />
<!--麦克风权限-->
<uses-permission android:name="android.permission.RECORD_AUDIO" />
<!--写存储权限-->
<uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE" />
<!--读存储权限-->
<uses-permission android:name="android.permission.READ_EXTERNAL_STORAGE" />
<!--网络权限-->
<uses-permission android:name="android.permission.INTERNET" />
<!--网络状态权限-->
<uses-permission android:name="android.permission.ACCESS_NETWORK_STATE" />
<!--网络状态变化权限-->
<uses-permission android:name="android.permission.CHANGE_NETWORK_STATE" />
2.代码开发
2.1创建应用自定义的activity界面,用于选择音频,并将该音频文件路径返回给音频编辑SDK:
// 将音频文件路径List返回到音频编辑页面
private void sendAudioToSdk()
// 获取到的音频文件路径 filePath
String filePath = "/sdcard/AudioEdit/audio/music.aac";
ArrayList<String> audioList = new ArrayList<>();
audioList.add(filePath);
// 将音频文件路径返回到音频编辑页面
Intent intent = new Intent();
// 使用sdk提供的HAEConstant.AUDIO_PATH_LIST
intent.putExtra(HAEConstant.AUDIO_PATH_LIST, audioList);
// 使用sdk提供的HAEConstant.RESULT_CODE为结果CODE
this.setResult(HAEConstant.RESULT_CODE, intent);
finish();
2.2在UI界面导入音频时,SDK会发送一个action值为com.huawei.hms.audioeditor.chooseaudio的intent以跳转到该activity。因此,该activity“AndroidManifest.xml”中的注册形式如下:
<activity android:name="Activity ">
<intent-filter>
<action android:name="com.huawei.hms.audioeditor.chooseaudio"/>
<category android:name="android.intent.category.DEFAULT"/>
</intent-filter>
</activity>
2.3启动音频编辑页面,点击“添加音频”,SDK会主动调用“2.1”步骤中定义的activity。添加好音频,就可以进行音频编辑、特效添加等操作,完成后导出编辑音频。
HAEUIManager.getInstance().launchEditorActivity(this);
2.4.如果音频素材不是MP3格式,此步骤可以完成音频格式转换:
调用transformAudioUseDefaultPath接口进行音频格式转换,转换后的音频文件导出到默认路径。
// 音频格式转换接口
HAEAudioExpansion.getInstance().transformAudioUseDefaultPath(context,inAudioPath, audioFormat, new OnTransformCallBack()
// 进度回调(0-100)
@Override
public void onProgress(int progress)
// 转换失败
@Override
public void onFail(int errorCode)
// 转换成功
@Override
public void onSuccess(String outPutPath)
// 取消转换
@Override
public void onCancel()
);
// 取消转换任务接口
HAEAudioExpansion.getInstance().cancelTransformAudio();
调用transformAudio接口进行音频格式转换,转换后的音频文件导出到目标路径。
// 音频格式转换接口
HAEAudioExpansion.getInstance().transformAudio(context,inAudioPath, outAudioPath, new OnTransformCallBack()
// 进度回调(0-100)
@Override
public void onProgress(int progress)
// 转换失败
@Override
public void onFail(int errorCode)
// 转换成功
@Override
public void onSuccess(String outPutPath)
// 取消转换
@Override
public void onCancel()
);
// 取消转换任务接口
HAEAudioExpansion.getInstance().cancelTransformAudio();
2.5如果素材是视频格式,可以调用extractAudio接口进行音频提取,从视频中提取音频文件再导出到指定目录:
// outAudioDir提取出的音频保存的文件夹路径,非必填
// outAudioName提取出的音频名称,不带后缀,非必填
HAEAudioExpansion.getInstance().extractAudio(context,inVideoPath,outAudioDir, outAudioName,new AudioExtractCallBack()
@Override
public void onSuccess(String audioPath)
Log.d(TAG, "ExtractAudio onSuccess : " + audioPath);
@Override
public void onProgress(int progress)
Log.d(TAG, "ExtractAudio onProgress : " + progress);
@Override
public void onFail(int errCode)
Log.i(TAG, "ExtractAudio onFail : " + errCode);
@Override
public void onCancel()
Log.d(TAG, "ExtractAudio onCancel.");
);
// 取消音频提取任务接口
HAEAudioExpansion.getInstance().cancelExtractAudio();
2.6调用getInstruments和startSeparationTasks接口进行伴奏提取。
// 获取提取伴奏类型ID,后面将此ID传给接口
HAEAudioseparationFile haeAudioSeparationFile = new HAEAudioSeparationFile();
haeAudioSeparationFile.getInstruments(new SeparationCloudCallBack<List<SeparationBean>>()
@Override
public void onFinish(List<SeparationBean> response)
// 返回的数据,包括伴奏的类型ID
@Override
public void onError(int errorCode)
// 失败返回
);
// 设置要提取的伴奏参数
List instruments = new ArrayList<>();
instruments.add(“伴奏id”);
haeAudioSeparationFile.setInstruments(instruments);
// 开始进行伴奏分离
haeAudioSeparationFile.startSeparationTasks(inAudioPath, outAudioDir, outAudioName, new AudioSeparationCallBack()
@Override
public void onResult(SeparationBean separationBean)
@Override
public void onFinish(List<SeparationBean> separationBeans)
@Override
public void onFail(int errorCode)
@Override
public void onCancel()
);
// 取消分离任务
haeAudioSeparationFile.cancel();
2.7调用applyAudioFile接口进行空间方位渲染。
// 空间方位渲染
// 固定摆位
HAESpaceRenderFile haeSpaceRenderFile = new HAESpaceRenderFile(SpaceRenderMode.POSITION);
haeSpaceRenderFile.setSpacePositionParams(
new SpaceRenderPositionParams(x, y, z));
// 动态渲染
HAESpaceRenderFile haeSpaceRenderFile = new HAESpaceRenderFile(SpaceRenderMode.ROTATION);
haeSpaceRenderFile.setRotationParams( new SpaceRenderRotationParams(
x, y, z, surroundTime, surroundDirection));
// 扩展
HAESpaceRenderFile haeSpaceRenderFile = new HAESpaceRenderFile(SpaceRenderMode.EXTENSION);
haeSpaceRenderFile.setExtensionParams(new SpaceRenderExtensionParams(radiusVal, angledVal));
// 调用接口
haeSpaceRenderFile.applyAudioFile(inAudioPath, outAudioDir, outAudioName, callBack);
// 取消空间方位渲染
haeSpaceRenderFile.cancel();
完成以上步骤,就可以得到对应的空间动态渲染效果,在应用内轻松实现2D转3D音效啦!这项功能还可以应用到企业会议以及运动康复领域,比如在展会上进行产品沉浸式展示、作为视障人群的方向感线索,为日常生活提供便利等。开发者们可以根据自己应用的实际需求选择使用,如需了解更多详情,请参考:
华为开发者联盟音频编辑服务官网; 获取集成音频编辑服务指导文档。
了解更多详情>>
访问华为开发者联盟官网
获取开发指导文档
华为移动服务开源仓库地址:GitHub、Gitee
关注我们,第一时间了解 HMS Core 最新技术资讯~
以上是关于声临其境,轻松几步教你把音频变成3D环绕音的主要内容,如果未能解决你的问题,请参考以下文章
声网3D在线互动场景空间音频的实时渲染——如何把“声临其境”推向极致
在Windows中遇到文件权限不够,无法保存修改?下面几步教你轻松解决