我可以从 AudioRecord 获取 MediaStreamTrack 吗？

Posted 2023-04-19

【中文标题】我可以从 AudioRecord 获取 MediaStreamTrack 吗？

【英文标题】：Can I get MediaStreamTrack from AudioRecord?

【发布时间】：2021-06-18 19:32:22

【问题描述】：

我想在 android 中与 webrtc 共享音频。我尝试使用 MediaProjection，视频共享还可以。但是，录音没有音轨。如何从录音中获取音轨？

AudioPlaybackCaptureConfiguration config = new AudioPlaybackCaptureConfiguration.Builder(sMediaProjection)
                            .addMatchingUsage(AudioAttributes.USAGE_MEDIA)
                            .addMatchingUsage(AudioAttributes.USAGE_VOICE_COMMUNICATION)
                            .addMatchingUsage(AudioAttributes.USAGE_VOICE_COMMUNICATION_SIGNALLING)
                            .addMatchingUsage(AudioAttributes.USAGE_GAME)
                            .build();

AudioFormat audioFormat = new AudioFormat.Builder()
                            .setEncoding(AudioFormat.ENCODING_PCM_16BIT)
                            .setSampleRate(44100)
                            .setChannelMask(AudioFormat.CHANNEL_IN_MONO)
                            .build();

audioRecord = new AudioRecord.Builder()
                            .setAudioFormat(audioFormat)
                            .setBufferSizeInBytes(BUFFER_SIZE_IN_BYTES)
                            .setAudioPlaybackCaptureConfig(config)
                            .build();

audioRecord.startRecording();

//Other code

String audioTrackId = stateProvider.getNextTrackUUID();

Audiosource as = new AudioSource(audioRecord.getAudioSource());

tracks[0] = pcFactory.createAudioTrack(audioTrackId, as);  // Not Working

【问题讨论】：

您是否能够使用 webrtc 流式传输系统音频。我尝试了上面的代码，应用程序开始崩溃。如果你成功了，你能分享一下你是如何做到的吗？

【参考方案1】：

我认为您必须检查以下内容

https://developer.android.com/reference/android/media/AudioPlaybackCaptureConfiguration

使用值必须是 AudioAttributes#USAGE_UNKNOWN 或 AudioAttributes#USAGE_GAME 或 AudioAttributes#USAGE_MEDIA。无法捕获所有其他用法。 他们的应用程序（使用 AudioManager#setAllowedCapturePolicy）或每个播放器（使用 AudioAttributes.Builder#setAllowedCapturePolicy）设置的捕获策略是 AudioAttributes#ALLOW_CAPTURE_BY_ALL，以最严格的为准。

你可以用下面的 adb 命令来实现

运行 webrtc 并输入下一条命令

$ adb shell dumpsys audio
...
...
  players:
  AudioPlaybackConfiguration piid:15 type:android.media.SoundPool u/pid:1000/1619 state:idle attr:AudioAttributes: usage=USAGE_ASSISTANCE_SONIFICATION content=CONTENT_TYPE_SONIFICATION flags=0x800 tags= bundle=null
  AudioPlaybackConfiguration piid:23 type:android.media.SoundPool u/pid:10222/2040 state:idle attr:AudioAttributes: usage=USAGE_ASSISTANCE_SONIFICATION content=CONTENT_TYPE_SONIFICATION flags=0x800 tags= bundle=null
...
...
allowed capture policies:
...
...

玩家：意味着 这些是现在正在使用的音频属性信息。 您可以通过 pid 看到 webrc 的使用情况

flags=0x800：表示 显示应用设置了什么值允许捕获策略。 有关标志的信息，请参阅以下链接 https://cs.android.com/android/platform/superproject/+/master:frameworks/base/media/java/android/media/AudioAttributes.java;drc=master;l=1532?q=capturePolicyToFlags&ss=android%2Fplatform%2Fsuperproject&hl=ko

允许的捕获策略：意味着 它显示了哪个应用设置了 setAllowedCapturePolicy。

清单中的应用属性 allowAudioPlaybackCapture 必须设置为 true

如果 webrc 没有设置这个值，你可以看到下面的警告日志。

        ALOGW("%s: Playback capture is denied for uid %u as the manifest property could not be "
              "retrieved from the package manager: %s", __func__, uid, status.toString8().c_str());