Android录屏功能实现——MediaProjection
Posted 小叮当不懒
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Android录屏功能实现——MediaProjection相关的知识，希望对你有一定的参考价值。
目录
不积跬步，无以至千里；不积小流，无以成江海。要沉下心来，诗和远方的路费真的很贵！
android录屏功能实现—MediaProjection
参考博客：Android实现录屏MediaProjection以及相关异常解决
参考GitHub：github中最容易理解的Android录屏的版本
概述
Android录屏功能实现有很多种方式，这里记录最常见的一种，用Android自带的apk来实现，即使用MediaProjection来实现。
工具类
实现Android的录屏功能，需要用到一些工具类：MediaProjection，MediaProjectionManager，MediaRecoder，VirtualDisplay，DisplayMetrics等。
作用
MediaProjection
用于屏幕采集。
MediaProjectionManager
用于创建MediaProjection。
MediaRecoder
用于屏幕录制。
VirtualDisplay
用于创建虚拟屏幕。
DisplayMetrics
用于获取屏幕参数。
过程
权限申请
需要使用录屏功能，必须请求读写和录像录音权限。
- 静态权限申请——
Manifest.xml
<uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE" />
<uses-permission
android:name="android.permission.READ_EXTERNAL_STORAGE" />
<uses-permission
android:name="android.permission.RECORD_AUDIO"/>
Android 6.0以上还需要动态申请权限
//权限检查，连接录屏服务
public void checkPermission()
//调用检查权限接口进行权限检查
if ((ContextCompat.checkSelfPermission(MainActivity.this, Manifest.permission.WRITE_EXTERNAL_STORAGE)
!= PackageManager.PERMISSION_GRANTED) && (ContextCompat.checkSelfPermission(MainActivity.this,
Manifest.permission.RECORD_AUDIO) != PackageManager.PERMISSION_GRANTED))
//如果没有权限，获取权限
//调用请求权限接口进行权限申请
ActivityCompat.requestPermissions(this,new String[]
Manifest.permission.WRITE_EXTERNAL_STORAGE,Manifest.permission.RECORD_AUDIO,PERMISSION_REQUEST_CODE);
else
//有权限，连接录屏服务，进行录屏
connectService();
- 申请权限后，还需要判断用户是否同意
//没有权限，去请求权限后，需要判断是否请求成功
@Override
public void onRequestPermissionsResult(int requestCode, @NonNull String[] permissions, @NonNull int[] grantResults)
super.onRequestPermissionsResult(requestCode, permissions, grantResults);
if(requestCode == PERMISSION_REQUEST_CODE)
//请求码相同
if(grantResults.length != 0 &&
((grantResults[0] != PackageManager.PERMISSION_GRANTED) ||
(grantResults[1] != PackageManager.PERMISSION_GRANTED)))
//如果结果都存在，但是至少一个没请求成功，弹出提示
Toast.makeText(MainActivity.this,"请同意必须的应用权限，否则无法正常使用该功能！", Toast.LENGTH_SHORT).show();
else if(grantResults.length != 0 && grantResults[0] == PackageManager.PERMISSION_GRANTED &&
grantResults[1] == PackageManager.PERMISSION_GRANTED)
//如果结果都存在，两个权限都申请成功，连接服务，启动录屏
connectService();
连接服务
注意点：记住一定要在Manifest中声明自定义的Service，不然后面得到的Service对象都是NULL。
Manifest.xml
<service android:name=".ScreenRecordService"/>
- 连接服务
//连接服务
public void connectService()
//通过intent为中介绑定Service，会自动create
Intent intent = new Intent(this,ScreenRecordService.class);
//绑定过程连接，选择绑定模式
bindService(intent,serviceConnection,BIND_AUTO_CREATE);
- 判断服务是否连接成功
- 成功则向系统发送录屏请求
//连接服务成功与否，具体连接过程
//调用连接接口，实现连接，回调连接结果
private ServiceConnection serviceConnection = new ServiceConnection()
@Override
public void onServiceConnected(ComponentName componentName, IBinder iBinder)
//服务连接成功，需要通过Binder获取服务，达到Activity和Service通信的目的
//获取Binder
ScreenRecordService.ScreenRecordBinder binder = (ScreenRecordService.ScreenRecordBinder) iBinder;
//通过Binder获取Service
screenRecordService = binder.getScreenRecordService();
//获取到服务，初始化录屏管理者
mediaProjectionManager = (MediaProjectionManager) getSystemService(MEDIA_PROJECTION_SERVICE);
//通过管理者，创建录屏请求，通过Intent
Intent captureIntent = mediaProjectionManager.createScreenCaptureIntent();
//将请求码作为标识一起发送，调用该接口，需有返回方法
startActivityForResult(captureIntent,REQUEST_CODE);
@Override
public void onServiceDisconnected(ComponentName componentName)
//连接失败
Toast.makeText(MainActivity.this,"录屏服务未连接成功，请重试！",Toast.LENGTH_SHORT).show();
;
- 请求之后，获得返回的信息
@Override
//返回方法，获取返回的信息
protected void onActivityResult(int requestCode, int resultCode, @Nullable Intent data)
super.onActivityResult(requestCode, resultCode, data);
//首先判断请求码是否一致，结果是否ok
if(requestCode == REQUEST_CODE && resultCode == RESULT_OK)
//录屏请求成功，使用工具MediaProjection录屏
//从发送获得的数据和结果中获取该工具
mediaProjection = mediaProjectionManager.getMediaProjection(resultCode,data);
//将该工具给Service，并一起传过去需要录制的屏幕范围的参数
if(screenRecordService != null)
screenRecordService.setMediaProjection(mediaProjection);
screenRecordService.setConfig(metrics.widthPixels,metrics.heightPixels,metrics.densityDpi);
开始录制
- 获得了返回的信息，将参数都发送过去后，开始录制
//服务的两个主要逻辑
//开始录屏
public boolean startRecord()
//首先判断是否有录屏工具以及是否在录屏
if (mediaProjection == null || running)
return false;
//有录屏工具，没有在录屏，就进行录屏
//初始化录像机，录音机Recorder
initRecorder();
//根据获取的屏幕参数创建虚拟的录屏屏幕
createVirtualDisplay();
//本来不加异常也可以，但是这样就不知道是否start成功
//万一start没有成功，但是running置为true了，就产生了错误也无提示
//提示开始录屏了，但是并没有工作
try
//准备工作都完成了，可以开始录屏了
mediaRecorder.start();
//标志位改为正在录屏
running = true;
return true;
catch (Exception e)
e.printStackTrace();
//有异常，start出错，没有开始录屏，弹出提示
Toast.makeText(this,"开启失败，没有开始录屏",Toast.LENGTH_SHORT).show();
//标志位变回没有录屏的状态
running = false;
return false;
- 录制需要录像机
//初始化Recorder录像机
public void initRecorder()
//新建Recorder
mediaRecorder = new MediaRecorder();
//设置录像机的一系列参数
//设置音频来源
mediaRecorder.setAudiosource(MediaRecorder.AudioSource.MIC);
//设置视频来源
mediaRecorder.setVideoSource(MediaRecorder.VideoSource.SURFACE);
//设置视频格式为mp4
mediaRecorder.setOutputFormat(MediaRecorder.OutputFormat.MPEG_4);
//设置视频存储地址，返回的文件夹下的命名为当前系统事件的文件
videoPath = getSaveDirectory() + System.currentTimeMillis() + ".mp4";
//保存在该位置
mediaRecorder.setOutputFile(videoPath);
//设置视频大小，清晰度
mediaRecorder.setVideoSize(width, height);
//设置视频编码为H.264
mediaRecorder.setVideoEncoder(MediaRecorder.VideoEncoder.H264);
//设置音频编码
mediaRecorder.setAudioEncoder(MediaRecorder.AudioEncoder.AMR_NB);
//设置视频码率
mediaRecorder.setVideoEncodingBitRate(2 * 1920 * 1080);
mediaRecorder.setVideoFrameRate(18);
//初始化完成，进入准备阶段，准备被使用
//截获异常，处理
try
mediaRecorder.prepare();
catch (IOException e)
e.printStackTrace();
//异常提示
Toast.makeText(this,
"Recorder录像机prepare失败，无法使用，请重新初始化！",
Toast.LENGTH_SHORT).show();
- 录制需要虚拟屏幕
public void createVirtualDisplay()
//虚拟屏幕通过MediaProjection获取，传入一系列传过来的参数
//可能创建时会出错，捕获异常
try
virtualDisplay = mediaProjection.createVirtualDisplay("VirtualScreen", width, height, dpi,
DisplayManager.VIRTUAL_DISPLAY_FLAG_AUTO_MIRROR, mediaRecorder.getSurface(), null, null);
catch (Exception e)
e.printStackTrace();
Toast.makeText(this,"virtualDisplay创建录屏异常，请退出重试！",Toast.LENGTH_SHORT).show();
- 录制的视频需要存储在一个位置
//获取存储文件夹的位置
public String getSaveDirectory()
if (Environment.getExternalStorageState().equals(Environment.MEDIA_MOUNTED))
//如果确认为视频类型，设置根目录，绝对路径下的自定义文件夹中
String rootDir = Environment.getExternalStorageDirectory()
.getAbsolutePath() + "/" + "录屏文件" + "/";
//创建该文件夹
File file = new File(rootDir);
if (!file.exists())
//如果该文件夹不存在
if (!file.mkdirs())
//如果没有创建成功
return null;
//创建成功了，返回该目录
return rootDir;
else
//不是音视频文件，不保存，无路径
return null;
停止录制
- 停止录制，一切设备还原
//停止录屏
public boolean stopRecord()
if (!running)
//没有在录屏，无法停止
return false;
//无论设备是否还原或者有异常，但是确实录屏结束，修改标志位为未录屏
running = false;
//本来加不加捕获异常都可以，但是为了用户体验度，加入会更好
try
//Recorder停止录像，重置还原，以便下一次使用
mediaRecorder.stop();
mediaRecorder.reset();
//释放virtualDisplay的资源
virtualDisplay.release();
catch (Exception e)
e.printStackTrace();
//有异常，保存失败，弹出提示
Toast.makeText(this,"录屏出现异常，视频保存失败！",Toast.LENGTH_SHORT).show();
return false;
//无异常，保存成功
Toast.makeText(this,"录屏结束，保存成功！",Toast.LENGTH_SHORT).show();
return true;
总结
总的来说，只有两个文件，一个Activity，一个Service，一个负责给用户操作，一个负责后台实现逻辑。
MainActivity
package com.example.screencap;
import android.Manifest;
import android.content.ComponentName;
import android.content.Intent;
import android.content.ServiceConnection;
import android.content.pm.PackageManager;
import android.media.projection.MediaProjection;
import android.media.projection.MediaProjectionManager;
import android.os.Bundle;
import android.os.IBinder;
import android.util.DisplayMetrics;
import android.view.View;
import android.widget.Button;
import android.widget.Toast;
import androidx.annotation.NonNull;
import androidx.annotation.Nullable;
import androidx.appcompat.app.AppCompatActivity;
import androidx.core.app.ActivityCompat;
import androidx.core.content.ContextCompat;
public class MainActivity extends AppCompatActivity implements View.OnClickListener
//请求码
private final static int REQUEST_CODE = 101;
//权限请求码
private final static int PERMISSION_REQUEST_CODE = 1101;
//录屏工具
MediaProjectionManager mediaProjectionManager;
MediaProjection mediaProjection;
//开始按钮，停止按钮
Button btn_start_recorder;
Button btn_stop_recorder;
//获取录屏范围参数
DisplayMetrics metrics;
//录屏服务
ScreenRecordService screenRecordService;
@Override
protected void onCreate(Bundle savedInstanceState)
super.onCreate(savedInstanceState);
setContentView(R.layout.activity_main);
//实例化按钮
btn_start_recorder = findViewById(R.id.btn_start_recorder);
btn_stop_recorder = findViewById(R.id.btn_stop_recorder);
//点击按钮，请求录屏
btn_start_recorder.setOnClickListener(this);
btn_stop_recorder.setOnClickListener(this);
//权限检查，连接录屏服务
public void checkPermission()
//调用检查权限接口进行权限检查
if ((ContextCompat.checkSelfPermission(MainActivity.this, Manifest.permission.WRITE_EXTERNAL_STORAGE)
!= PackageManager.PERMISSION_GRANTED) && (ContextCompat.checkSelfPermission(MainActivity.this,
Manifest.permission.RECORD_AUDIO) != PackageManager.PERMISSION_GRANTED))
//如果没有权限，获取权限
//调用请求权限接口进行权限申请
ActivityCompat.requestPermissions(this,new String[]
Manifest.permission.WRITE_EXTERNAL_STORAGE,Manifest.permission.RECORD_AUDIO,PERMISSION_REQUEST_CODE);
else
//有权限，连接录屏服务，进行录屏
connectService();
//没有权限，去请求权限后，需要判断用户是否同意权限请求
@Override
public void onRequestPermissionsResult(int requestCode, @NonNull String[] permissions, @NonNull int[] grantResults)
super.onRequestPermissionsResult(requestCode, permissions, grantResults);
if(requestCode == PERMISSION_REQUEST_CODE)
//请求码相同
if(grantResults.length > 0 &&
(grantResults[0] != PackageManager.PERMISSION_GRANTED ||
grantResults[1] != PackageManager.PERMISSION_GRANTED))
//如果结果都存在&#Android 音视频开发 -- Android Mediaprojection 截屏和录屏
Android 音视频开发(一) – 使用AudioRecord 录制PCM(录音)；AudioTrack播放音频
Android 音视频开发(二) – Camera1 实现预览、拍照功能
Android 音视频开发(三) – Camera2 实现预览、拍照功能
Android 音视频开发(四) – CameraX 实现预览、拍照功能
Android 音视频开发(五) – 使用 MediaExtractor 分离音视频，并使用 MediaMuxer合成新视频(音视频同步)
Android 音视频开发(六) – Android Mediaprojection 截屏和录屏
这章学习Android录屏，效果如下：
截屏 录屏 
从这一章，我们将看到
- MediaProjection 的基本使用
- ImageReader 与 MediaProjection 实现截屏
- MediaRecorder 与 MediaProjection 实现录屏
一. MediaProjection 的基本使用
MediaProjection 的使用非常简单，调用的是MediaProjectionManager对象，它会创建申请录屏的 Intent:
mediaManager = getSystemService(Context.MEDIA_PROJECTION_SERVICE) as MediaProjectionManager
mediaManager.createScreenCaptureIntent().apply
startActivityForResult(this, 2)
此时会弹出一个申请录屏的弹窗，点击确定就开始录屏了，如果点击确定，就可以在 onActivityResult 中拿到 MediaProjection 对象
override fun onActivityResult(requestCode: Int, resultCode: Int, data: Intent?)
super.onActivityResult(requestCode, resultCode, data)
if (requestCode == 2 && resultCode == Activity.RESULT_OK)
data?.let
//获取到操作对象
mediaProjection = mediaManager.getMediaProjection(resultCode, it)
1.1. 获取数据
拿到 MediaProjection 对象，就可以去拿数据了， 它会通过创建 VirtualDisplay 去获取屏幕的内容，VirtualDisplay 是一个虚拟显示，它会根据应用提供的 Surface ，把内容渲染到 Surface上，这里的 Surface 可以是 ImageReader 的，也可以是MediaRecorder 或 MediaCodec的。
它的调用为：
virtualDisplay = mediaProjection?.createVirtualDisplay(
TAG, //virtualDisplay 的名字，随意写
dm.widthPixels, //virtualDisplay 的宽
dm.heightPixels, //virtualDisplay 的高
dm.densityDpi, // virtualDisplay 的 dpi 值，这里都跟应用保持一致即可
// 显示的标志位，不同的标志位，截取不同的内容，具体看源码解释
DisplayManager.VIRTUAL_DISPLAY_FLAG_AUTO_MIRROR,
surface, //获取内容的 surface
null, //回调
null //回调执行的handler
二. 截屏
实际上，此时你的程序已经在获取屏幕的数据的，如果你的surface 是 SurfaceView，还会看到一帧一帧的数据。
截屏实际上就是获取当前屏幕的画面，这里可以使用 ImageReader ，Imageereader 类允许应用程序直接访问渲染到 Surface 中的图像数据，在使用 Camrea2 获取拍照数据也是使用了它。Android 音视频开发(三) – Camera2 实现预览、拍照功能
然而需要注意的是，Camera 获取的是 YUV 数据，而MediaProjection 获取的则是 RGBA 的数据，所以它的初始化为：
private fun configImageReader()
val dm = resources.displayMetrics
imageReader = ImageReader.newInstance(dm.widthPixels, dm.heightPixels,
PixelFormat.RGBA_8888, 1).apply
//监听图片生成
setOnImageAvailableListener(
savePicTask(it)
, null)
//把内容投射到ImageReader 的surface
mediaProjection?.createVirtualDisplay(TAG, dm.widthPixels, dm.heightPixels, dm.densityDpi,
DisplayManager.VIRTUAL_DISPLAY_FLAG_PUBLIC, surface, null, null)
需要注意的是初始化 ImageReader 的第三个参数，改为 PixelFormat.RGBA_8888，获取线性的像素RGBA，后面生成图片需要，大小则设置为1，这里后面解释。
然后把 ImageReader 的 surface 给VirtualDisplay就可以了，此时 ImageReader 就能拿到 VirtualDisplay 的内容了，而我们设置了 setOnImageAvailableListener 图片监听，但有数据时，就会回调，我们就可以保存图片了。
2.1 保存图片
首先调用 ImageReader 的acquireLatestImage() ，从 ImageReader 的队列中获取最新的 Image，删除旧图像。如果没有新图像可用，返回 null。所以从原理看，ImageReader 初始化最大个数设置为2，则能避免 null 的情况，但是如果都能获取到新图片，则会显示两张，这里为了美观，就设置成1，大家可以试试。
拿到 Image 后，就可以通过 getPlanes 拿到buffer了，只要不是 yuv，只需要拿 planes[0] 的数据即可：
//获取捕获的照片数据
image = reader.acquireLatestImage()
val width = image.width
val height = image.height
//拿到所有的 Plane 数组
val planes = image.planes
val plane = planes[0]
val buffer: ByteBuffer = plane.buffer
如果转换成图片？
从上面的 ByteBuffer 可知，其实可以使用 bitmap.copyPixelsFromBuffer(buffer) 直接转换，但这里存在一个问题，因为线性内存对称问题，有些手机是不对称的，导致宽高比不一致，就会出现花屏碎屏的问题。所以需要做一个转换：
val buffer: ByteBuffer = plane.buffer
//相邻像素样本之间的距离，因为RGBA，所以间距是4个字节
val pixelStride = plane.pixelStride
//每行的宽度
val rowStride = plane.rowStride
//因为内存对齐问题，每个buffer 宽度不同，所以通过pixelStride * width 得到大概的宽度，
//然后通过 rowStride 去减，得到大概的内存偏移量，不过一般都是对齐的。
val rowPadding = rowStride - pixelStride * width
// 创建具体的bitmap大小，由于rowPadding是RGBA 4个通道的，所以也要除以pixelStride，得到实际的宽
val bitmap = Bitmap.createBitmap(width + rowPadding / pixelStride,
height, Bitmap.Config.ARGB_8888)
bitmap.copyPixelsFromBuffer(buffer)
注释已经说清楚了，就不多赘述，详细代码如下：
/**
* 保存图片
*/
private fun savePicTask(reader: ImageReader)
scopeIo
var image: Image? = null
try
//获取捕获的照片数据
image = reader.acquireLatestImage()
val width = image.width
val height = image.height
//拿到所有的 Plane 数组
val planes = image.planes
val plane = planes[0]
val buffer: ByteBuffer = plane.buffer
//相邻像素样本之间的距离，因为RGBA，所以间距是4个字节
val pixelStride = plane.pixelStride
//每行的宽度
val rowStride = plane.rowStride
//因为内存对齐问题，每个buffer 宽度不同，所以通过pixelStride * width 得到大概的宽度，
//然后通过 rowStride 去减，得到大概的内存偏移量，不过一般都是对齐的。
val rowPadding = rowStride - pixelStride * width
// 创建具体的bitmap大小，由于rowPadding是RGBA 4个通道的，所以也要除以pixelStride，得到实际的宽
val bitmap = Bitmap.createBitmap(width + rowPadding / pixelStride,
height, Bitmap.Config.ARGB_8888)
bitmap.copyPixelsFromBuffer(buffer)
withMain
val canvas = surfaceview.holder.lockCanvas()
with(canvas)
drawBitmap(bitmap, 0f, 0f, null)
surfaceview.holder.unlockCanvasAndPost(this)
Toast.makeText(this@MediaProjectionActivity, "保存成功", Toast.LENGTH_SHORT).show()
mediaProjection?.stop()
catch (e: java.lang.Exception)
Log.d(TAG, "zsr doInBackground: $e")
finally
//记得关闭 image
try
image?.close()
catch (e: Exception)
三. 录屏
MediaProjection 能获取屏幕的数据，这个就有很多操作空间，如常用的录屏到文件再播放，游戏录屏功能，也可以把数据用 MediaCodec 编码之后发送给其他接收端，如Maxhub、录播，eshare 这些投屏软件。
这里使用的 MediaRecorder 去保存录屏数据到文件，再播放。
3.1 初始化 MediaRecorder
上面说到，MediaProjection 的 VirtualDisplay 会把数据放到 surface 上，所以使用 MediaRecorder 的 surface 就能拿到数据了，再把它放到文件即可。
val dm = resources.displayMetrics
recorder = MediaRecorder()
recorder?.apply
//setAudioSource(MediaRecorder.AudioSource.MIC) //音频载体
setVideoSource(MediaRecorder.VideoSource.SURFACE) //视频载体
setOutputFormat(MediaRecorder.OutputFormat.MPEG_4) //输出格式
setAudioEncoder(MediaRecorder.AudioEncoder.AMR_NB) //音频格式
setVideoEncoder(MediaRecorder.VideoEncoder.H264) //视频格式
setVideoSize(dm.widthPixels, dm.heightPixels) //视频大小
//帧率，30是比较舒服的帧率
setVideoFrameRate(30)
//比特率，不需要太高的比特率，3m就很清晰了
setVideoEncodingBitRate(3 * 1024 * 1024)
//设置文件位置
setOutputFile(file.absolutePath)
MediaRecoder 的配置也比较简单，只要设置视频格式，编码格式，和帧率这些常规的操作即可。其实 MediaRecorder 也可以录制音频，可以录制环绕音等，也就是传屏软件的音视频同步功能，但你得自己计算 pts ，算出偏差值，不然就会出现视频音频对不上。虽然 Android 10 后也提供了接口，但是也得第三方应用支持才行。好吧，跑题了，这里只需要视频数据即可。
接着调用 prepare() 准备，然后把 surface 给 MediaProjection 即可：
try
prepare()
virtualDisplay = mediaProjection?.createVirtualDisplay(
TAG, //virtualDisplay 的名字，随意写
dm.widthPixels, //virtualDisplay 的宽
dm.heightPixels, //virtualDisplay 的高
dm.densityDpi, // virtualDisplay 的 dpi 值，这里都跟应用保持一致即可
// 显示的标志位，不同的标志位，截取不同的内容，具体看源码解释
DisplayManager.VIRTUAL_DISPLAY_FLAG_AUTO_MIRROR,
surface, //获取内容的 surface
null, //回调
null //回调执行的handler
)
catch (e: Exception)
Log.e(TAG, "MediaRecord prepare fail : $e")
e.printStackTrace()
return false
recorder?.start()
这里就可以保存数据到文件了，但你想暂停时，可以使用
recorder?.stop()
mediaProjection?.stop()
然后再使用 MediaPlayer 或者其他播放视频的软件播放即可。
参考：
https://developer.android.google.cn/reference/android/media/ImageReader?hl=en
https://developer.android.google.cn/reference/android/media/Image.Plane?hl=en
以上是关于Android录屏功能实现——MediaProjection的主要内容，如果未能解决你的问题，请参考以下文章
Android实现录屏直播ScreenRecorder的简单分析