Android 10 Audio系统：REMOTE_SUBMIX 实现原理

Posted 2021-06-30 Mr.H

android10 Audio系统：REMOTE_SUBMIX 实现原理

• 前言
• 什么是REMOTE_SUBMIX
• 怎么使用REMOTE_SUBMIX
• 如何实现的
• • 创建REMOTE_SUBMIX类型的 input输入设备
  • 创建output设备
  • 如何通过output设备采集到数据
• 小结

前言

由于业务需求，需要对Android设备的音频输出进行采集，同时还需要保持Android本身设备的输出。Android原生是无法实现的，因为使用了REMOTE_SUBMIX 之后，Android本身喇叭输出会停止，所以需要对音频系统进行一定的修改。目前已经实现了该功能，但是出于好奇然后把这个REMOTE_SUBMIX 实现原理研究了一下，感觉很巧妙，很有意思！于是乎将其写出来记录分享一下。如果对Android 音频系统不太了解的同学建议先去了解，也可以参考专栏「Android 9 Audio系统笔记」 系列博客。

什么是REMOTE_SUBMIX

REMOTE_SUBMIX，REMOTE：远端的意思，这个就是用来向远端提供音频输出的一个音源类型，比如Android中的投屏功能，将Android的音视频投到电视机，那么这个电视机相对于Android来说就是远端设备，那么通过Android系统提供的REMOTE_SUBMIX 音源类型就可以将Android设备的本多媒体声音输出到远端的电视机上了。

怎么使用REMOTE_SUBMIX

AudioRecord record = new AudioRecord(Audiosource.REMOTE_SUBMIX, 44100,
        AudioFormat.CHANNEL_IN_STEREO, AudioFormat.ENCODING_PCM_16BIT, bufferSize)

其实跟其他录音基本一样。
但是这里需要说明的是并不是所有应用都可以采集到系统输出数据，需要有系统权限（android.Manifest.permission.CAPTURE_AUDIO_OUTPUT）。第三方应用是无法获取该权限的，也就是说第三方应用无法对系统输出进行录音，只能是系统应用才可以，这应该也是谷歌出于隐私安全等方面的考虑。

//frameworks/base/media/java/android/media/MediaRecorder.java
/**
 * Audio source for a submix of audio streams to be presented remotely.
 * <p>
 * An application can use this audio source to capture a mix of audio streams
 * that should be transmitted to a remote receiver such as a Wifi display.
 * While recording is active, these audio streams are redirected to the remote
 * submix instead of being played on the device speaker or headset.
 * </p><p>
 * Certain streams are excluded from the remote submix, including
 * {@link AudioManager#STREAM_RING}, {@link AudioManager#STREAM_ALARM},
 * and {@link AudioManager#STREAM_NOTIFICATION}.  These streams will continue
 * to be presented locally as usual.
 * </p><p>
 * Capturing the remote submix audio requires the
 * {@link android.Manifest.permission#CAPTURE_AUDIO_OUTPUT} permission.
 * This permission is reserved for use by system components and is not available to
 * third-party applications.
 * </p>
 */
 @RequiresPermission(android.Manifest.permission.CAPTURE_AUDIO_OUTPUT)
public static final int REMOTE_SUBMIX = 8;

如何实现的

其实原理就是：通过创建一个output设备，然后系统通过AF对系统的多媒体声音输出写入到这个output设备上，然后client端再通过audiorecord对这个output写入的数据进行读取，这样就可将系统的输出通过audiorecord采集到然后通过相关协议发送到remote端进行输出处理了。是不是很简单，谷歌通过这样的方式就实现了对系统输出的采集，这种方式很巧妙。
你可能会有疑问，那么APM 是如何实现的呢，这个output设备有什么不一样吗，怎么实现数据的同步传输。来，我带你来一探究竟。

创建REMOTE_SUBMIX类型的 input输入设备

这个可以参考我前面写的这篇文章（Android 9 Audio系统笔记：AudioRecord），只是源类型改为了REMOTE_SUBMIX，这里就不再赘述，想了解的客官可移步过去看一下。

创建output设备

在开始录音的时候，APM会检查，如果是REMOTE_SUBMIX类型会将特定类型的output设备打开。output输出路由可以参考此前的这篇文章（Android 9 Audio系统笔记：音频路由实现——从AudioTrack到audiohal），可参考其实现原理，大概流程类似。

//frameworks/av/services/audiopolicy/managerdefault/AudioPolicyManager.cpp
        // For remote submix (a virtual device), we open only one input per capture request.
        if (audio_is_remote_submix_device(inputDesc->getDeviceType())) {
            String8 address = String8("");
            if (policyMix == nullptr) {
                address = String8("0");
            } else if (policyMix->mMixType == MIX_TYPE_PLAYERS) {
                address = policyMix->mDeviceAddress;
            }
            if (address != "") {
                setDeviceConnectionStateInt(AUDIO_DEVICE_OUT_REMOTE_SUBMIX,
                        AUDIO_POLICY_DEVICE_STATE_AVAILABLE,
                        address, "remote-submix", AUDIO_FORMAT_DEFAULT);
            }
        }

output设备：

//frameworks/av/services/audiopolicy/config/r_submix_audio_policy_configuration.xml
	<devicePort tagName="Remote Submix Out" type="AUDIO_DEVICE_OUT_REMOTE_SUBMIX"  role="sink">
		<profile name="" format="AUDIO_FORMAT_PCM_16_BIT"
			samplingRates="48000" channelMasks="AUDIO_CHANNEL_OUT_STEREO"/>
       </devicePort>

这个设备跟其他的有点不一样，其他的设备节点AF写入数据之后就往PCM设备结节写入数据了。但是这个不一样，哪里不一样？后续揭晓。

如何通过output设备采集到数据

在音频输出的时候AF将数据源源不断的往这个output设备上写入，而client端通过AudioRecord不断的去读取数据。这时候你会不会有一个疑问，AF是怎么实现数据同步的，并将数据给到AudioRecord的呢？通过这个：MonoPipe & MonoPipeReader；这两个货是怎么实现的呢，大概就是类似一个管道的东西实现无阻塞读写。MonoPipe 用于生产者，MonoPipeReader用于消费者。Android系统通过这个两个货实现了生产消费同步且无阻塞，厉害吧。反正我是没仔细看的，有兴趣的朋友可以研究分享一下。这里我就先不深入研究了。
这个output设备通过 HW在创建input设备的时候创建出来的，然后再output那里将数据写入到MonoPipe ，此时input设备再通过MonoPipeReader 读取数据。
看到没有，这个output设备并没有向驱动写入数据，而是将数据给到MonoPipe ，这就是跟其他输出设备不一样的地方了。
由此数据的输出和产生都有了，剩下的就是client端不断的去读取数据就可以了。

//hardware/libhardware/modules/audio_remote_submix/audio_hw.cpp
static ssize_t in_read(struct audio_stream_in *stream, void* buffer,
                       size_t bytes)
{
	//这里省略N行
	frames_read = source->read(buff, read_frames);
}

小结

基本流程还是比较简洁的，但是还有不少细节需要注意，这里就不进行深入讨论，毕竟细节都在代码里了，具体细节有兴趣的客官可移步谷歌官网查看源码，毕竟有些东西就是「Talk is cheap. Show me the code」

至此，分享完毕，欢迎留言交流讨论。