Android自动化之AccessibilityService

Posted

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Android自动化之AccessibilityService相关的知识，希望对你有一定的参考价值。

简介
demo示例说明
Manifest声明
AccessibilityService的XML配置文件
创建继承自AccessibilityService的服务类
MainActivity检测服务是否开启
UiAutomatorViewer
参考

简介

由于许多android用户由于某些原因（视力，身体，年龄）要求他们以不同的方式与手机设备交互。

安卓提供了辅助功能特性和服务来帮助这些用户更容易的操作他们的设备，包括文字转语音（原生不支持中文，国内ROM可能会有，我的测试OPPO自带中文哟!），触觉反馈，手势操作，轨迹球和手柄操作。开发者可以利用这些服务使得程序更好用，也可以创建自己的辅助服务。

随着Android版本的不断升级，Android Accessibility功能也越来越强大，Android 4.0版本以前，系统辅助服务功能比较单一，仅仅能过单向获取窗口元素信息，比如获取输入框用户输入内容。到Android 4.1版本以后（现在主流厂商的版本都在KITKAT4.4），系统辅助服务增加了与窗口元素的双向交互，此时可以通过辅助功能服务操作窗口元素，比如点击按钮等。
由于系统辅助服务能够实时获取您当前操作应用的窗口元素信息，这有可能给你带来隐私信息的泄露风险，比如获取非密码输入框的输入内容等。同时通过辅助功能也可以模拟用户自动化点击应用内元素，也会带来一定的安全风险。

已经有其他同学使用AccessibilityService实现了抢红包~以及自动安装等，大家可以自行百度。

demo示例说明

接下来我们将通过AccessibilityService实现点击元素之后语言反馈所点击的内容。
测试辅助抓包应用为【微信】

下载地址
链接：http://pan.baidu.com/s/1pJVyo0z 密码：00i6

Manifest声明

  1. <?xml version="1.0" encoding="utf-8"?>
  2. <manifestxmlns:android="http://schemas.android.com/apk/res/android"
  3. package="com.leestar.example.accessibilityservice"
  4. android:versionCode="1"
  5. android:versionName="1.0">
  7. <uses-sdk
  8. android:minSdkVersion="19"
  9. android:targetSdkVersion="21"/>
  11. <application
  12. android:allowBackup="true"
  13. android:icon="@drawable/ic_launcher"
  14. android:label="@string/app_name"
  15. android:theme="@style/AppTheme">
  16. <activity
  17. android:name=".MainActivity"
  18. android:label="@string/app_name">
  19. <intent-filter>
  20. <actionandroid:name="android.intent.action.MAIN"/>
  22. <categoryandroid:name="android.intent.category.LAUNCHER"/>
  23. </intent-filter>
  24. </activity>
  26. <service
  27. android:name=".AccessibilityServiceExample"
  28. android:label="@string/accessibility_service_label"
  29. android:permission="android.permission.BIND_ACCESSIBILITY_SERVICE">
  30. <intent-filter>
  31. <actionandroid:name="android.accessibilityservice.AccessibilityService"/>
  32. </intent-filter>
  34. <meta-data
  35. android:name="android.accessibilityservice"
  36. android:resource="@xml/accessibility_service_config"/>
  37. </service>
  38. </application>
  40. </manifest>

AccessibilityService的XML配置文件

保存路径为<project_dir>/res/xml/accessibility_service_config.xml

  1. <accessibility-servicexmlns:android="http://schemas.android.com/apk/res/android"
  2. android:description="@string/accessibility_service_description"
  3. android:packageNames="com.tencent.mm"
  4. android:accessibilityEventTypes="typeAllMask"
  5. android:accessibilityFlags="flagDefault"
  6. android:accessibilityFeedbackType="feedbackSpoken"
  7. android:notificationTimeout="100"
  8. android:canRetrieveWindowContent="true"
  9. android:settingsActivity="com.example.android.accessibility.ServiceSettingsActivity"
  10. />

其中
android:packageNames为需要捕获的包名
android:accessibilityEventTypes为需要回调的事件
android:notificationTimeout为事件回调的延迟事件
其他具体含义请查询官方文档~

创建继承自AccessibilityService的服务类

具体见代码以及注释，里面也实现了语言反馈功能。

  1. package com.leestar.example.accessibilityservice;
  3. import android.accessibilityservice.AccessibilityService;
  4. import android.annotation.TargetApi;
  5. import android.content.Intent;
  6. import android.os.Build;
  7. import android.speech.tts.TextToSpeech;
  8. import android.util.Log;
  9. import android.view.accessibility.AccessibilityEvent;
  10. import android.view.accessibility.AccessibilityNodeInfo;
  12. publicclassAccessibilityServiceExampleextendsAccessibilityService{
  13. privateAccessibilityNodeInfo rootNodeInfo;
  14. privateTextToSpeech tts =null;
  15. privateboolean ttsIsInit =false;
  17. /**
  18. * 可选。系统会在成功连接上你的服务的时候调用这个方法，在这个方法里你可以做一下初始化工作，例如设备的声音震动管理，
  19. * 也可以调用setServiceInfo()进行配置工作。
  20. */
  21. @Override
  22. protectedvoid onServiceConnected(){
  23. // TODO Auto-generated method stub
  24. super.onServiceConnected();
  25. tts =newTextToSpeech(getApplicationContext(),new android.speech.tts.TextToSpeech.OnInitListener(){
  26. @Override
  27. publicvoid onInit(int status){
  28. if(status ==TextToSpeech.SUCCESS){
  29. ttsIsInit =true;
  30. }
  31. }
  32. });
  33. }
  35. /**
  36. * 可选。在系统将要关闭这个AccessibilityService会被调用。在这个方法中进行一些释放资源的工作。
  37. */
  38. @Override
  39. publicboolean onUnbind(Intent intent){
  40. // TODO Auto-generated method stub
  41. returnsuper.onUnbind(intent);
  42. }
  44. /**
  45. * 根据XML的android:accessibilityEventTypes来进行事件回调，所有的业务逻辑都要在回调中完成
  46. */
  47. @TargetApi(Build.VERSION_CODES.KITKAT)
  48. @Override
  49. publicvoid onAccessibilityEvent(AccessibilityEvent event){
  50. rootNodeInfo = event.getSource();
  51. if(rootNodeInfo ==null)
  52. return;
  54. switch(event.getEventType()){
  55. caseAccessibilityEvent.TYPE_VIEW_CLICKED:
  56. // 语音反馈
  57. if(ttsIsInit){
  58. // event.getContentDescription根据触发事件节点来自动查找子树的ContentDescription
  59. //所以你会发现UIAutomatorViewer上的相关节点信息为空，但是event里赋值了。
  60. // event.getText同上
  61. if(event.getContentDescription()!=null){
  62. tts.speak(event.getContentDescription().toString(),TextToSpeech.QUEUE_ADD,null);
  63. }elseif(event.getText()!=null){
  64. tts.speak(event.getText().toString(),TextToSpeech.QUEUE_ADD,null);
  65. }
  66. }
  68. // 获取精确节点信息，可以通过UIAutomatorViewer检索，实现相关模拟操作
  69. //AccessibilityNodeInfo提供了2种自动查找字节点的函数
  70. //rootNodeInfo.findAccessibilityNodeInfosByText
  71. //rootNodeInfo.findAccessibilityNodeInfosByViewId(viewId)
  72. if(rootNodeInfo.getChild(0)!=null
  73. && rootNodeInfo.getChild(0).getClassName().equals("android.widget.TextView")
  74. && rootNodeInfo.getChild(0).getText()!=null
  75. && rootNodeInfo.getChild(0).getText().toString().equals("我")){
  76. // 如果发现按的是【我】，模拟全局返回按钮，即退出微信
  77. performGlobalAction(GLOBAL_ACTION_BACK);
  79. // 模拟点击元素
  80. // if (rootNodeInfo.isClickable()) {
  81. // rootNodeInfo.performAction(AccessibilityNodeInfo.ACTION_CLICK);
  82. // }
  83. }
  85. break;
  86. default:
  88. break;
  89. }
  90. Log.i("leestar",AccessibilityEvent.eventTypeToString(event.getEventType()));
  91. Log.i("leestar", rootNodeInfo.getClassName().toString());
  92. }
  94. /**
  95. * 这个在系统想要中断AccessibilityService返给的响应时会调用。在整个生命周期里会被调用多次。
  96. */
  97. @Override
  98. publicvoid onInterrupt(){
  99. Log.i("leestar","onInterrupt");
  100. }
  102. }

MainActivity检测服务是否开启

  1. package com.leestar.example.accessibilityservice;
  3. import java.util.List;
  5. import android.accessibilityservice.AccessibilityServiceInfo;
  6. import android.app.Activity;
  7. import android.content.Context;
  8. import android.content.Intent;
  9. import android.os.Bundle;
  10. import android.provider.Settings;
  11. import android.view.View;
  12. import android.view.WindowManager;
  13. import android.view.accessibility.AccessibilityManager;
  14. import android.widget.Button;
  16. publicclassMainActivityextendsActivity{
  17. privateButton button_switch;
  19. @Override
  20. protectedvoid onCreate(Bundle savedInstanceState){
  21. // TODO Auto-generated method stub
  22. super.onCreate(savedInstanceState);
  23. setContentView(R.layout.activity_main);
  24. button_switch =(Button) findViewById(R.id.button_switch);
  25. }
  27. @Override
  28. protectedvoid onResume(){
  29. super.onResume();
  30. updateServiceStatus();
  31. }
  33. @Override
  34. protectedvoid onDestroy(){
  35. getWindow().clearFlags(WindowManager.LayoutParams.FLAG_KEEP_SCREEN_ON);
  36. super.onDestroy();
  37. }
  39. publicvoid onButtonClick(View view){
  40. startActivity(newIntent(Settings.ACTION_ACCESSIBILITY_SETTINGS));
  41. }
  43. privatevoid updateServiceStatus(){
  44. booleanServiceEnabled=false;
  46. // 循环遍历所有服务，查看是否开启
  47. AccessibilityManager accessibilityManager =(AccessibilityManager) getSystemService(Context.ACCESSIBILITY_SERVICE);
  48. List<AccessibilityServiceInfo> accessibilityServices = accessibilityManager
  49. .getEnabledAccessibilityServiceList(AccessibilityServiceInfo.FEEDBACK_SPOKEN);
  50. for(AccessibilityServiceInfo info : accessibilityServices){
  51. if(info.getId().equals(getPackageName()+"/.AccessibilityServiceExample")){
  52. ServiceEnabled=true;
  53. break;
  54. }
  55. }
  57. if(ServiceEnabled){
  58. button_switch.setText("关闭测试服务");
  59. // Prevent screen from dimming
  60. getWindow().addFlags(WindowManager.LayoutParams.FLAG_KEEP_SCREEN_ON);
  61. }else{
  62. button_switch.setText("开启测试服务");
  63. getWindow().clearFlags(WindowManager.LayoutParams.FLAG_KEEP_SCREEN_ON);
  64. }
  65. }
  66. }

UiAutomatorViewer

在需要精确元素节点操作检索的时候，就需要用到UiAutomatorViewer工具，一般情况下，Android SDK下会自带这个工具
技术分享
找到uiautomatorviewer.bat即可，打开之后，点击看起来是这个样子的
技术分享
我想你应该知道怎么做了，树形结构UI，AccessibilityNodeInfo通过getChild、getParent尽情的识别吧~！

参考

http://www.android-doc.com/guide/topics/ui/accessibility/services.html





以上是关于Android自动化之AccessibilityService的主要内容，如果未能解决你的问题，请参考以下文章

复习Appium之Android自动化

复习Appium之Android自动化

复习Appium之Android自动化

复习Appium之Android自动化

Appium python自动化测试系列之Android UIAutomator终极定位

Android自动化测试之Monkeyrunner从零开始