Android设备实时音视频传输有效方案，android面试复习

Posted 2023-04-05 wa32saa

另一个就是接收端，不停的接收发送出来的socket数据，这个socket数据就是实时的pcm流，接收方，在实时播放pcm流，就能实现音频的实时同步了。

关于视频流，是如何实现同步的，大家也可以猜猜？

1）AudioTrack.cpp中的代码实现

#define DEST_PORT 5046

#define DEST_IP_ADDRESS “192.168.7.6”

int mSocket;

bool mSocketHasInit;

bool mCurrentPlayMusicStream;

struct sockaddr_in mRemoteAddr;

ssize_t AudioTrack::write(const void* buffer, size_t userSize, bool blocking)

…

size_t toWrite = audioBuffer.size;

memcpy(audioBuffer.i8, buffer, toWrite);

mBuffer = malloc(toWrite);

memcpy(mBuffer,buffer,toWrite);

//我们添加的代码：把音频流实时的发送出去

if(mCurrentPlayMusicStream && mSocketHasInit)

onSocketSendData(toWrite);

…

int AudioTrack::onSocketSendData(uint32_t len)

assert(NULL != mBuffer);

assert(-1 != len);

if(!mSocketHasInit)

initTcpSocket();

unsigned int ret = send(mSocket, mBuffer,len, 0);

free(mBuffer);

return 0;

2) 接收端的代码处理

(我这里是用的android设备调试，如果是linux系统，思路是同样的)

接收端的处理逻辑流程图如下：

1、设置socket监听；

2、循环监听socket端口数据；

3、接收到pcm流；

4、播放pcm流；

---------- PlayActivity.java ------------

private ServerSocket mTcpServerSocket = null;

private List mSocketList =
new ArrayList<>();

private MyTcpListener mTcpListener = null;

private boolean isAccept = true;

/**

• 设置socket监听

*/

public void startTcpService()

Log.v(TAG,“startTcpService();”);

if(mTcpListener == null)

mTcpListener = new MyTcpListener();

new Thread()

@Override

public void run()

super.run();

try

mTcpServerSocket = new ServerSocket();

mTcpServerSocket.setReuseAddress(true);

InetSocketAddress socketAddress = new InetSocketAddress(AndroidBoxProtocol.TCP_AUDIO_STREAM_PORT);

mTcpServerSocket.bind(socketAddress);

while (isAccept)

Socket socket = mTcpServerSocket.accept();

mSocketList.add(socket);

//开启新线程接收socket 数据

new Thread(new TcpServerThread(socket,mTcpListener)).start();

catch (Exception e)

Log.e(“TcpServer”, “” + e.toString());

.start();

/**

• 停止socket监听

*/

private void stopTcpService()

isAccept = false;

if(mTcpServerSocket != null)

new Thread()

@Override

public void run()

super.run();

try

for(Socket socket:mSocketList)

socket.close();

mTcpServerSocket.close();

catch (IOException e)

e.printStackTrace();

.start();

/**

• 播放pcm 实时流

• @param buffer

*/

private void playPcmStream(byte[] buffer)

if (mAudioTrack != null && buffer != null)

mAudioTrack.play();

mAudioTrack.write(buffer, 0, buffer.length);

private Handler mUiHandler = new Handler()

@Override

public void handleMessage(Message msg)

super.handleMessage(msg);

switch (msg.what)

case HANDLER_MSG_PLAY_PCM:

playPcmStream((byte[]) msg.obj);

break;

default:

break;

;

private class MyTcpListener implements ITcpSocketListener

@Override

public void onRec(Socket socket, byte[] buffer)

sendHandlerMsg(HANDLER_MSG_PLAY_PCM,0,buffer);

总结

---

刚开始接到这个开发需求，也是思考了良久才想到这个方案。也再次验证了，熟悉了解framework层，可以给我们提供很多实现问题的思路。中间调试的时候，也是遇到了不少的问题。不过欣喜的是结果还不错，最后都给跑通了。

该方案，我在Android 5.0和Android 7.0上都运行测试通过，希望对大家有帮助。

最后

---

我给大家分享一份我在网上收集整理的 Android 开发和音视频的相关学习文档、面试题、学习笔记等等文档，希望能帮助到大家学习提升，如有需要参考的可以直接去我 CodeChina地址：https://codechina.csdn.net/u012165769/Android-T3 访问查阅。

最后

---

我给大家分享一份我在网上收集整理的 Android 开发和音视频的相关学习文档、面试题、学习笔记等等文档，希望能帮助到大家学习提升，如有需要参考的可以直接去我 CodeChina地址：https://codechina.csdn.net/u012165769/Android-T3 访问查阅。

android实时视频网络传输方案总结（一共有五套）

最近研究了Android的实时视频网络传输问题，在视频处理方面花费了大量精力进行研究，总结出以下五套方案，并加以比较

 

以320×240大小的视频传输为例

 

方案	压缩率	压缩/传输方式	实时性	平均流量消耗	传输距离
用camera的回调函数发送原始的yuv420数据	0	无压缩，按帧传输	高(20~30 fps)	很高(6.5 Mbps)太恐怖了O_O	近距离有线或无线
用MediaRecorder对yuv420进行H264硬编码后发送	高(95%)	帧间压缩，视频流传输	高(20 fps)	低(30~70 Kbps)	可以远距离
调用本地H264编码库(JNI)对一帧YUV420数据编码后发送	高(97%)	帧间压缩，按帧传输	低(2 fps)	低(20 Kbps)	可以远距离
对一帧数据用GZIP库压缩后发送（很奇葩的做法）	较高(70%~80%)	帧内压缩，按帧传输	低(5 fps)	较高(300 Kbps)	可以远距离
对一帧数据用JPEG方式压缩后传输	一般(60%左右)	帧内压缩，按帧传输	高(25 fps)	高(170 Kbps)	可以远距离(带宽允许的话)

 

注:MediaRecorder有很强的硬件依赖性，因此不同的手机表现是不一样的，有的手机数据传输的时候会出现阻塞现象，实时性就降低了

综上来看，方案2(MediaRecorder)和方案5(JPEG)还是可以考虑的，由于本人的项目只需要近距离无线传输，并且硬件水平也不怎么高，故选择了方案5

以上方案是本人最近比较具体而深入地研究实时视频编码和传输方案后总结出来的，希望需要研究视频传输的朋友们可以借以参考！