关于安卓设备声音远程传输的解决方案

Posted 2021-06-14 行者AI

本文首发于：行者AI

近期本人在做安卓设备的云平台，设备云平台这个东西相信对大家而言并不陌生，常见的功能比如用来远程监控操作一部手机，上传文件啊，查看日志之类的。但是当你想用云手机看视频、玩游戏、听音乐的时候，就发现，现在市面上的云手机，没有一家是有声音传输功能的。

在发现这个情况后，萌生了想要做出这个功能的想法，那具体该什么做呢？在做之前，我先进行了一个小调研，了解目前有没有现成的解决方案，看看能否给自己带来一些参考。

经过了几天的研究，我先把大致的结果告诉各位。

声音传输有限制，但仍能实现。

1. 目前现有方案对比

	设备麦克风	第三方投屏软件	Sndcpy
声音来源	手机麦克风	手机麦克风	应用流媒体自身数据
效果	会受外界干扰	会干扰，但也有提供算法降噪	取决于音频数据本身
应用限制	其他应用调用麦克风串流	其他应用调用麦克风串流	未授予权限的应用
安卓版本	任意	任意	安卓10以上

2. 方案选定

其实不难看出来，第三方投屏软件用的也就是设备的麦克风，只是因为数据先经由软件客户端，在拿给音频播放前，自己多用算法处理进行了一次降噪（燃鹅算法降噪都是辣鸡）。可是大家有想过他的实用效果吗？想象一下，一般作为设备云平台的使用场景是什么样的：

图1. 群控图片（素材来自网络）

如此密集的设备，这样的场景，靠外放捕获声音，一个还好说，多来几个，那效果谁受得了？而且如果手机本身有应用需要使用麦克风，那效果也不言而喻。所以，使用设备麦克风这样的方案，作为平台来讲，肯定是不行的！

既然用麦克风不行，那就代表没有别的路可走了吗？直觉告诉我当然不是。如果有一种方式，能直接对应用的媒体数据流进行捕获，而不是通过外放出来的声音进行录制，那这样的方式无疑会让效果大大提升！发现了这点的我，顺藤摸瓜，于是乎摸到了sndcpy这个开源项目 。

3. 方案实施

3.1 项目简介

sndcpy github地址

项目的介绍上有详细说明，这里我只做一个简短的概述就好：

（1）只支持安卓10以上设备

（2）跨系统平台可运行

（3）可使用VLC对已连接设备进行听取

针对第一点，本质上是针对有对应接口的sdk版本，在安卓应用的配置中，允许声音流媒体被监听的开关打开，这样的应用就能获取到声音。

（例如qq音乐，然而经过试验，谷歌浏览器反而属于不行的那种）

3.2 使用步骤

（1）下载项目中已经build好的zip文件（如无adb，下载with-adb版本的，并配置环境，这里就不讲怎么配环境了）；

（2）连接手机设备，到解压目录下的./sndcpy，多设备情况后面带设备号；

（3）在手机上确认允许；

（4）下载安装vlc；

（5）运行vlc，首次可能会遇到报错，但没关系，再来一次就好了。

4. 进行集成

使用是能使用了，但是作为云平台的项目而言，客户是要通过网页播放听到设备的，通过vlc才能听到的这种方式，明显不符合使用需求。而作为流媒体实时网络通信，我们自然该想到将其做成websocket的形式，而这也就需要实现现有的socket服务。

然而，只要仔细看过这个项目的文件，你就会发现，我们想要的东西，其实拿来就能用。压缩包中一共有三个文件，其中的.bat文件，我们将其打开看下：

#!/bin/bash
set -e
ADB=${ADB:-adb}
VLC=${VLC:-vlc}
SNDCPY_APK=${SNDCPY_APK:-sndcpy.apk}
SNDCPY_PORT=${SNDCPY_PORT:-28200}

serial=
if [[ $# -ge 1 ]]
then
    serial="-s $1"
    echo "Waiting for device $1..."
else
    echo 'Waiting for device...'
fi

"$ADB" $serial wait-for-device
"$ADB" $serial install -t -r -g "$SNDCPY_APK" ||
{
    echo 'Uninstalling existing version first...'
    "$ADB" $serial uninstall com.rom1v.sndcpy
    "$ADB" $serial install -t -g "$SNDCPY_APK"
}

"$ADB" $serial forward tcp:$SNDCPY_PORT localabstract:sndcpy
"$ADB" $serial shell am start com.rom1v.sndcpy/.MainActivity
echo "Press Enter once audio capture is authorized on the device to start playing..."
read dummy
"$VLC" -Idummy --demux rawaud --network-caching=0 --play-and-exit tcp://localhost:"$SNDCPY_PORT"

发现正是使用的adb命令开启的tcp服务进行传输。为了方便大家直接进行操作，这里我直接罗列命令和步骤，按照这个步骤操作，安卓端设备传输的问题就能解决：

（1）将sndcpy.apk放到/data/local/tmp目录下，推荐使用adb命令 adb push sndcpy.apk /data/local/tmp

（2）adb forward tcp:port（port自己定义一个，这个不影响） localabstract:sndcpy

（3）adb shell am start com.rom1v.sndcpy/.MainActivity

（4）本地启动一个socket，绑定最先port定义的端口，如果返回的数据不是空，恭喜你，成功了！
基本的启动就是这样，而对于web项目而言，将socket做一次websocket的转发就能完成在网页端的播放了（当然，还需要前端本身支持这样格式的音频流传输处理）。

就此，大功告成！

---

PS：更多技术干货，快关注【公众号 | xingzhe_ai】，与行者一起讨论吧！