Python攻防-AndroidMainfest数据自动化解析

Posted 2022-12-07 Tr0e

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Python攻防-AndroidMainfest数据自动化解析相关的知识，希望对你有一定的参考价值。

文章目录

前言
组件属性
- 脚本浅析
- 效果演示
权限排查
- 脚本浅析
- 效果演示
总结

前言

在前面的一篇文章：Python攻防-APK批量自动反编译与数据分析中，已经介绍了如何批量拉取手机中的 APK 文件并进行反编译获得源码，同时如何进行简单的数据检索和分析处理。本文将进一步介绍如何从反编译出来批量的 androidMainfest.xml 配置文件中，自动化统计出 Android 四大组件的 exported 属性和未定义的权限，同时生成可视化统计表格。

组件属性

Android APP 四大组件（Activity、Service、Receiver、Content Provider）存在的攻击面基本上都需要一个前提：组件属性 exported=“true"。下面来看看如何借助 Python 代码，自动化统计出批量 AndroidMainfest.xml 文件中 exported=“true" 的 Android 组件。

脚本浅析

1、首先看下数据源，基于我上面提到的 Python攻防-APK批量自动反编译与数据分析批量反编译后获得的 APK 源码文件夹：

其中，AndroidMainfest.xml 文件位于每个 apk 反编译后的 resources 文件夹下，比如：

2、首先看下如何解析 AndroidMainfest.xml 文件并获得对应的 PackageName 属性（即包名），毕竟一份APP属性的统计数据如果连包名都没有的话是相当离谱的：

from xml.etree.ElementTree import parse
……
def getPackageName(filePath):
    """
    读取AndroidManifest.xml文件中包名的属性
    :param filePath: AndroidManifest.xml文件路径
    :return: PackageName
    """
    tree = parse(filePath)
    root = tree.getroot()
    packageName = root.attrib['package']
    print(Fore.BLUE + "PackageName: " + packageName)
    return packageName

3、接下来提取关键数据，看看如何获取 AndroidMainfest.xml 文件中四大组件的 exported 属性，以下代码将生成某个 APP 的四大组件 "组件名:exported属性值" 的字典：

from colorama import Fore, init
from xml.etree.ElementTree import parse
……
def getComponentDict(filePath):
    """
    获取指定AndroidManifest.xml文件中包含的所有四大组件的组件类型:"组件名:exported属性值"的字典
    :param filePath: AndroidManifest.xml文件路径
    :return: 组件类型:"组件名:exported属性值"的字典
    """
    tree = parse(filePath)
    namespace = "http://schemas.android.com/apk/res/android"
    componentTypeList = "activity", "service", "receiver", "provider"
    componentAllDict =   # 存储某个App的所有组件的字典，格式：组件类型:"组件名:eported属性值"
    componentOneDict =   # 存储某个App某类组件的字典，格式："组件名:eported属性值"
    for componentType in componentTypeList:
        nodelist = tree.findall('application/' + componentType)
        for node in nodelist:
            componentName = node.get(namespace + 'name')
            if node.get(namespace + 'exported') is not None:
                componentExported = node.get(namespace + 'exported')
            else:
                componentExported = "true"  # 兼容Android 12以下版本，未设置exported属性，默认True
            componentOneDict[componentName] = componentExported
        print("%s 组件的字典：" % componentType + str(componentOneDict))
        componentAllDict[componentType] = componentOneDict
        componentOneDict =   # 将中间字典存储到目标字典后，置空并进入下个循环收集另一类组件的数据
    # print("最终的数据：" + str(intentAllDict))
    print(Fore.GREEN + "****************************************")
    return componentAllDict

4、遍历上面提到的反编译后的整个资源文件夹下的所有 AndroidMainfest.xml 文件，统计所有目标 APP 的组件及其属性并存放于全局字典 componentFinallyDict 中，该字典的键值 key 为 "APP名/包名”，value 值为该应用对应的四大组件与其 exported 属性自称的字典（即步骤 3 函数的返回值）：

from colorama import Fore, init

init(autoreset=True)
componentFinallyDict =   # 存储最终所有APK的四大组件属性的字典，格式为：PackageName:"组件类型:"组件名:exported属性值""

def analyzeAndroidManifest(file_path):
    """
    生成指定文件夹下所有APP的四大组件属性的字典，格式为：PackageName:"组件类型:"组件名:exported属性值""
    :param file_path: 存储反编译后的APP资源文件的路径
    :return: PackageName:"组件类型:"组件名:exported属性值""的字典
    """
    global componentFinallyDict
    for file_ls in os.listdir(file_path):
        print(Fore.BLUE + "APPName: " + file_ls)
        path = str(file_path) + "/" + str(file_ls) + "/resources/AndroidManifest.xml"
        packageName = file_ls + "/" + getPackageName(path)  # APP的名称+包名，如“Mms.apk/com.android.mms”
        componentDict = getComponentDict(path)
        componentFinallyDict[packageName] = componentDict
    # print(str(componentFinallyDict))
    print(Fore.BLUE + "[*]Successfully analyze all AndroidManifest!")

5、最后，将全局字典 componentFinallyDict 的数据进行解析并生成 xlsx 统计表格：

def writeDataToXlsx(xlsxPath):
    """
    将字典里面存储的Intent数据转换成xlsx格式的表格
    :param xlsxPath: 输出的xlsx文件路径
    :return: null
    """
    dataSource = 
    dictCol0List = []
    dictCol1List = []
    dictCol2List = []
    dictCol3List = []
    dictCol4List = []
    global componentFinallyDict
    # 数据源格式为：PackageName:"组件类型:"组件名:exported属性值""，其中PackageName=APP的名称+包名，如“Mms.apk/com.android.mms”
    for packageName, componentDict in componentFinallyDict.items():
        for componentType, componentDictExported in componentDict.items():
            for componentName, exported in componentDictExported.items():
                try:
                    dictCol0List.append(str(packageName).split("/")[0])
                    dictCol1List.append(str(packageName).split("/")[1])
                    dictCol2List.append(componentType)
                    dictCol3List.append(componentName)
                    dictCol4List.append(exported)
                except IndexError as e:
                    print(e)
                    continue
    # 设置xlsx表格每列数据的源数据列表
    dataSource["APPName"] = dictCol0List
    dataSource["PackageName"] = dictCol1List
    dataSource["ComponentType"] = dictCol2List
    dataSource["ComponentName"] = dictCol3List
    dataSource["exported"] = dictCol4List
    # print(dataSource)
    print(Fore.BLUE + "[*]Start generating xlsx…")
    writer = pd.ExcelWriter(xlsxPath)
    dataFrame = pd.DataFrame(dataSource)
    dataFrame.to_excel(writer, sheet_name="sheet1")
    writer.close()  # 保存writer中的数据至excel
    print(Fore.BLUE + "[*]Successfully generated xlsx!")

效果演示

完整代码如下：

# @File  : intentAnalyze
# @Time  : 2022/11/12 10:10
# @Author: Tr0e
# @Blog  : https://tr0e.github.io/

import os
import time
import pandas as pd
from colorama import Fore, init
from xml.etree.ElementTree import parse
from func_timeout import func_set_timeout

init(autoreset=True)
componentFinallyDict =   # 存储最终所有APK的四大组件属性的字典，格式为：PackageName:"组件类型:"组件名:exported属性值""
vulPermissionDict =   # 存储最终所有APK未定义的权限的字典，格式为：PackageName:未定义权限列表，PackageName=“APK名.apk/com.XXX.XXX”


def analyzeAndroidManifest(file_path):
    """
    生成指定文件夹下所有APP的四大组件属性的字典，格式为：PackageName:"组件类型:"组件名:exported属性值""
    :param file_path: 存储反编译后的APP资源文件的路径
    :return: PackageName:"组件类型:"组件名:exported属性值""的字典
    """
    global componentFinallyDict
    for file_ls in os.listdir(file_path):
        print(Fore.BLUE + "APPName: " + file_ls)
        path = str(file_path) + "/" + str(file_ls) + "/resources/AndroidManifest.xml"
        packageName = file_ls + "/" + getPackageName(path)  # APP的名称+包名，如“Mms.apk/com.android.mms”
        componentDict = getComponentDict(path)
        componentFinallyDict[packageName] = componentDict
    # print(str(componentFinallyDict))
    print(Fore.BLUE + "[*]Successfully analyze all AndroidManifest!")


def getPackageName(filePath):
    """
    读取AndroidManifest.xml文件中包名的属性
    :param filePath: AndroidManifest.xml文件路径
    :return: PackageName
    """
    tree = parse(filePath)
    root = tree.getroot()
    packageName = root.attrib['package']
    print(Fore.BLUE + "PackageName: " + packageName)
    return packageName


def getComponentDict(filePath):
    """
    获取指定AndroidManifest.xml文件中包含的所有四大组件的组件类型:"组件名:exported属性值"的字典
    :param filePath: AndroidManifest.xml文件路径
    :return: 组件类型:"组件名:exported属性值"的字典
    """
    tree = parse(filePath)
    namespace = "http://schemas.android.com/apk/res/android"
    componentTypeList = "activity", "service", "receiver", "provider"
    componentAllDict =   # 存储某个App的所有组件的字典，格式：组件类型:"组件名:eported属性值"
    componentOneDict =   # 存储某个App某类组件的字典，格式："组件名:eported属性值"
    for componentType in componentTypeList:
        nodelist = tree.findall('application/' + componentType)
        for node in nodelist:
            componentName = node.get(namespace + 'name')
            if node.get(namespace + 'exported') is not None:
                componentExported = node.get(namespace + 'exported')
            else:
                componentExported = "true"  # 兼容Android 12以下版本，未设置exported属性，默认True
            componentOneDict[componentName] = componentExported
        print("%s 组件的字典：" % componentType + str(componentOneDict))
        componentAllDict[componentType] = componentOneDict
        componentOneDict =   # 将中间字典存储到目标字典后，置空并进入下个循环收集另一类组件的数据
    # print("最终的数据：" + str(intentAllDict))
    print(Fore.GREEN + "****************************************")
    return componentAllDict


def writeDataToXlsx(xlsxPath):
    """
    将字典里面存储的Intent数据转换成xlsx格式的表格
    :param xlsxPath: 输出的xlsx文件路径
    :return: null
    """
    dataSource = 
    dictCol0List = []
    dictCol1List = []
    dictCol2List = []
    dictCol3List = []
    dictCol4List = []
    global componentFinallyDict
    # 数据源格式为：PackageName:"组件类型:"组件名:exported属性值""，其中PackageName=APP的名称+包名，如“Mms.apk/com.android.mms”
    for packageName, componentDict in componentFinallyDict.items():
        for componentType, componentDictExported in componentDict.items():
            for componentName, exported in componentDictExported.items():
                try:
                    dictCol0List.append(str(packageName).split("/")[0])
                    dictCol1List.append(str(packageName).split("/")[1])
                    dictCol2List.append(componentType)
                    dictCol3List.append(componentName)
                    dictCol4List.append(exported)
                except IndexError as e:
                    print(e)
                    continue
    # 设置xlsx表格每列数据的源数据列表
    dataSource["APPName"] = dictCol0List
    dataSource["PackageName"] = dictCol1List
    dataSource["ComponentType"] = dictCol2List
    dataSource["ComponentName"] = dictCol3List
    dataSource["exported"] = dictCol4List
    # print(dataSource)
    print(Fore.BLUE + "[*]Start generating xlsx…")
    writer = pd.ExcelWriter(xlsxPath)
    dataFrame = pd.DataFrame(dataSource)
    dataFrame.to_excel(writer, sheet_name="sheet1")
    writer.close()  # 保存writer中的数据至excel
    print(Fore.BLUE + "[*]Successfully generated xlsx!")


def copyRight():
    print(Fore.GREEN + "************** CopyRight ****************")
    print(Fore.GREEN + "             Welcome to use               ")
    print(Fore.GREEN + "     Author: Tr0e                         ")
    print(Fore.GREEN + "     Github: https://github.com/Tr0e      ")
    print(Fore.GREEN + "     Blog  : https://tr0e.github.io       ")
    print(Fore.GREEN + "*****************************************")


if __name__ == '__main__':
    copyRight()
    start = time.time()
    # 对批量APP四大组件的exported属性进行收集并生成统计表格
    analyzeAndroidManifest("D:/tmp/Result")
    writeDataToXlsx("data/result/intent.xlsx")
    end = time.time()
    print(Fore.BLUE + "[*]Done.Totally time is " + str(end - start) + "s.Enjoy it!")
    exit(0)

代码运行效果如下图所示：

上述脚本在 6 秒钟解析了 449 个 AndroidMainfest.xml 文件并生成 13914 条 Android 组件统计数据。

权限排查

Android 应用层组件安全测试基础实战技巧这篇文章里，我曾介绍过 Android 系统中的权限定义方法，以及如何识别 APP 引用了未定义的权限。下面来介绍如何通过自动化脚本，统计批量的 APP AndroidMainfest.xml 文件中引用的未定义 Permission。

脚本浅析

1、数据源依然同上文，AndroidMainfest.xml 文件位于每个 apk 反编译后的 resources 文件夹下，比如：

2、获取某个 AndroidMainfest.xml 文件中未定义的权限的原理很简单：获取 uses-permission 标签里面的权限名 xxx，然后执行 adb shell pm list permissions | findstr xxx，根据返回接口判断权限是否未定义，然后生成并返回一个未定义权限的列表：

def getPermissionErrorList(filePath):
    """
    读取AndroidManifest.xml文件中的未定义权限列表
    :param filePath: AndroidManifest.xml文件路径
    :return 某个APP的未定义权限列表
    """
    tree = parse(filePath)
    root = tree.getroot()
    namespace = "http://schemas.android.com/apk/res/android"
    # packageName = root.attrib['package']
    # print(Fore.BLUE + "PackageName: " + packageName)
    usesPermissionList = []
    undefinePermissionList = []
    for child in root.iter('uses-permission'):
        permissionName = child.get(namespace + 'name')
        usesPermissionList.append(permissionName)
        # print(permissionName)
        cmd = "adb shell pm list permissions | findstr " + permissionName
        if execCommand(cmd) == "":
            if permissionName.startswith("android.permission"):
                continue
            undefinePermissionList.append(permissionName)
    print(undefinePermissionList)
    print(Fore.GREEN + "****************************************")
    return undefinePermissionList


@func_set_timeout(3)
def execCommand(command):
    return os.popen(command).read().strip('\\n')

3、对资源文件夹下的所有 AndroidMainfest.xml 文件进行解析，生成一个汇集了所有 APP 未定义权限的字典 vulPermissionDict：

vulPermissionDict =   # 存储最终所有APK未定义的权限的字典，格式为：PackageName:未定义权限列表，PackageName=“APK名.apk/com.XXX.XXX”

def analyzePermissions(file_path):
    """
    生成指定文件夹下所有APP的未定义组件的字典，格式为：PackageName:未定义组件列表
    :param file_path: 存储反编译后的APP资源文件的路径
    :return: PackageName:未定义组件列表的字典
    """
    global vulPermissionDict
    for file_ls in os.listdir(file_path):
        print(Fore.BLUE + "APPName: " + file_ls)
        path = str(file_path) + "/" + str(file_ls) + "/resources/AndroidManifest.xml"
        packageName = file_ls + "/" + getPackageName(path)  # APP的名称+包名，如“Mms.apk/com.android.mms”
        permissionList = getPermissionErrorList(path)
        vulPermissionDict[packageName] = permissionList
    # print(str(vulPermissionDict))
    print(Fore.BLUE + "[*]Successfully analyze all Permissions!")

4、最后将数据源字典 vulPermissionDict 的数据转换成 xlsx 表格：

def writePermissionXlsx(xlsxPath):
    """
    将字典里面存储的未定义权限数据转换成xlsx格式的表格
    :param xlsxPath: 输出的xlsx文件路径
    :return: null
    """
    dataSource = 
    dictCol1List = []
    dictCol2List = []
    dictCol3List = []
    global vulPermissionDict
    # 数据源格式为：PackageName:未定义权限列表，其中PackageName=APP的名称+包名，如“Mms.apk/com.android.mms”
    for packageName, permissionList in vulPermissionDict.items():
        for vulPermission in permissionList:
            try:
                dictCol1List.append(str(packageName).split("/")[0])
                dictCol2List.append(str(packageName).split("/")[1])
                dictCol3List.append(vulPermission)
            except IndexError as e:
                print(e)
                continue
    # 设置xlsx表格每列数据的源数据列表
    dataSource["APPName"] = dictCol1List
    dataSource["PackageName"] = dictCol2List
    dataSource["PermissionName"] = dictCol3List
    # print(dataSource)
    print(Fore.BLUE + "[*]Start generating xlsx…")
    writer = pd.ExcelWriter(xlsxPath)
    dataFrame = pd.DataFrame(dataSource)
    dataFrame.to_excel(writer, sheet_name="sheet1")
    writer.close()  # 保存writer中的数据至excel
    print(Fore.BLUE + "[*]Successfully generated xlsx!")

效果演示

完整代码如下所示：

# @File  : intentAnalyze
# @Time  : 2022/11/12 10:10
# @Author: Tr0e
# @Blog  : https://tr0e.github.io/

import os
import time
import pandas as pd
from colorama import Fore, init
from xml.etree.ElementTree import parse
from func_timeout import func_set_timeout

init(autoreset=True)
vulPermissionDict =   # 存储最终所有APK未定义的权限的字典，格式为：PackageName:未定义权限列表，PackageName=“APK名.apk/com.XXX.XXX”

def analyzePermissions(file_path):
    """
    生成指定文件夹下所有APP的未定义组件的字典，格式为：PackageName:未定义组件列表
    :param file_path: 存储反编译后的APP资源文件的路径
    :return: PackageName:未定义组件列表的字典
    """
    global vulPermissionDict
    for file_ls in os.listdir(file_path):
        print(Fore.BLUE + "APPName: " + file_ls)
        path = str(file_path) + "/" + str(file_ls) + "/resources/AndroidManifest.xml"
        packageName = file_ls + "/" + getPackageName(path)  # APP的名称+包名，如“Mms.apk/com.android.mms”
        permissionList = getPermissionErrorList(path)
        vulPermissionDict[packageName] = permissionList
    # print(str(vulPermissionDict))
    print(Fore.BLUE + "[*]Successfully analyze all Permissions!")


def getPermissionErrorList(filePath):
    """
    读取AndroidManifest.xml文件中的未定义权限列表
    :param filePath: AndroidManifest.xml文件路径
    :return 某个APP的未定义权限列表
    """
    tree = parse(filePath)
    root = tree.getroot()
    nam以上是关于Python攻防-AndroidMainfest数据自动化解析的主要内容，如果未能解决你的问题，请参考以下文章 
 Python攻防-AndroidMainfest数据自动化解析
 攻防世界：Crypto ：幂数加密——云影密码
 11招玩转黑客攻防——用Python，更安全
 Python安全攻防-从入门到入狱
 AndroidMainfest详解
 2017.08.10 Python爬虫实战之爬虫攻防