如何自己开发漏洞扫描工具

Posted smooth-z

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了如何自己开发漏洞扫描工具相关的知识,希望对你有一定的参考价值。

漏洞扫描工具,核心就是扫描器,而扫描器的设计思想是:灵活,易扩展,易修改,灵活的意思就是可单独执行专项漏洞的扫描,也可以批量执行集成的所有漏洞探测模块;易扩展的意思就是,新的漏洞检测模块可清晰简单的集成进扫描器;易修改,对各个漏洞扫描模块可根据特殊情况修改探测逻辑。以下我们以网上一款开源的扫描工具来讲解,当然部署过程和使用中可能会处处是坑,只要一一解决就是:

扫描器的源码

扫描器下载地址: https://gitee.com/samllpig/SafeTool-51testing

工具的详细安装教程: http://quan.51testing.com/pcQuan/lecture/117

软件架构图

安装部署

  • 安装 python 3.6 以上环境(如果怕麻烦,就安装3.6,因为安装3.8等高版本还需要调整一点代码兼容性问题,但问题不多)
  • 安装 redis
  • 安装 wxPython==4.0.7
pip install wxPython==4.0.7

#如果安装失败,多执行几编,主要是因为网络超时导致安装失败
#也可以直接去下载相关模块包,如下载 wxPython-4.0.7-cp36-cp36m-win_amd64.whl,到官网下载,一定要下载和python版本匹配的包
#通过安装包来安装指定模块

pip install wxPython-4.0.7-cp36-cp36m-win_amd64.whl

#安装过程如果提示缺什么包,就继续去下载什么包 

 也可以安装更高版本的,比如wxPython==4.1.1

  • 安装openssl

一般安装会有问题,可以直接到官网下载 http://slproweb.com/products/Win32OpenSSL.html

在本地安装后,还需要将库文件拷贝到python目录下,这样才能识别,如:

1、将openssl安装目录下的:C:\\Program Files\\OpenSSL-Win64\\lib 拷贝到 D:\\Python\\libs

2、将openssl安装目录下的:C:\\Program Files\\OpenSSL-Win64\\include 拷贝到 d:\\Python\\include

  • 检查requirements.txt

这个文件源代码根目录下,配置了需要安装的模块及版本,我们需要确认自己的python版本是否以其匹配,比如Python3.8就要求改lxml为 lxml==4.6.3

  • pip安装模块包
pip install -r requirements.txt

# 如果安装失败,多执行几编,主要是因为网络超时导致安装失败,也可以到官网找模块包下载后来安装
# 如果安装提示版本问题,就需要替换版本,一般Python3.8会遇到
  • 按以下顺序启动服务

启动redis数据库
启动服务端 myproxy.bat
启动客户端 python consoleMain.py 

异常修改

安装部署完后,我们可能还会遇到一些问题,这和代码当初的开发环境不一致有关。

1、关于Python3.8和3.6的兼容

Python3.8已经移出了time.clock()方法,但这份源码里还是用到了,所以如果遇到相关报错,需要自己手动修改,比如获取系统时间,可以改为使用time.perf_counter()

2、路径带空格的问题

这份代码这方面没考虑周全,如果部署的路径带空格,就会报路径错误,比如“D:\\Program Files”路径,我们要么就不要部署在带空格的路径下,要么直接改他的代码,比如:

setUp = "python " + path
#可以将path路径用引号全圈起来
setUp = "python '" + path + "'"

 3、启动时报wt.exe找不到错误

我也不知道wt.exe的由来,这个错识有时候不影响启动,因为启动文件consoleMain.py做了相关判断处理,但为了彻底不调用wt.exe,我们也可把consoleMain.py当中的相关代码直接改了:

# wtSetUp = "wt.exe python " + path
# 把以上调用改为直接调PowerShell.exe
wtSetUp = "start cmd /k PowerShell.exe python '" + path + "'"

这么改后,还有个好处,就是遇到代码异常,不会立即关闭cmd窗口,这样就能看到以下具体的报错,对于调试和分析代码错误是有帮助的。

 4、中文报utf-8编码错误

比如在web扫描时执行exec audit,报错:

通过报错,我们可以看到utf-8编码错误,而且报错的是request.py的resp.read().decode方法,我们把编码改为如下(具体改成什么编码,自己可以试试):

self.content = resp.read().decode('gbk')

编码改成功后,再通过 python consoleMain.py 入口调用就没有这个错误了。

5、报list index out of range错误

这个低级错误,一般是使用不当引起,但也看出了代码的健壮性不足,比如执行exec attacks.xss报错如下:

 我们可以看到报错的params.py文件具体那一行,就是self.url.split("?"),问题出在这个问号,因为我开始设置扫描路径是:set url http://172.16.1.63,这是错误的,应该如下设置:

set url http://172.16.1.63/?u=admin

一眼就看出来了,得加个?问号,表示带参数,这个问题可以直接改他的代码,加个判断,如果不带参数,就提示重新设置,而不是报错。另外这块也说明还需要进一步扩展开发,正常应该由扫描工具主动去扫描和捕获可以进行xss跨站脚本攻击的链接和地方,而不是手动设置url来模拟攻击。

6、执行myproxy.bat找不到mitmdump

明明我们都装了mitmdump,为什么还可能找不到,这是因为pip安装时,是局部还是全局安装,正常mitmdump是安装在python目录下的Scripts中,如D:\\Tools\\Python\\Scripts,假如你没找到,那就需要在代码路径下搜索,是否装在代码目录下了,比如在:SafeTool-51testing\\venv\\Scripts

这是因为我们用PyCharm Community Edition开发工具来安装部署可能遇到的问题,我们要么挪一下mitmdump,要么直接改myproxy.bat,改一下调用路径:

"D:\\Program Files\\Project\\SafeTool-51testing\\venv\\Scripts\\mitmdump" -q -s myproxy.py -p 8000

7、生成报告的问题

开源的代码里关于这块也是有问题的,具体下面也会提到简单的修改方式 。

简单使用

先打开我们的扫描器看下界面:

 扫描器界面:

好了,上面就是我们的扫描器,全部使用命令操作,简单易记,大家跟着敲就可以了。

  • help命令使用

help: 列出集成的插件命令和描述。

我们开始扫描之前要做些基本的设置,输入help set命令,查看我们需要设置那些参数,带*号的是必选项.

  • info 命令

info :显示详细的漏洞检测模块

info 命令的使用格式是: info [插件名称],插件名称就是上图中输入help命令得到的。

输入info attacks:

输入info audit命令:

可以看到audit插件下的检测模块太少了,后期我们需要加入tomcat、nginx、weblogic等等的扫描模块 。

输入info brute命令:

输入 info disclosure:

  • set命令:

在进行扫描之前需要进行基本的设置工作,通过help set命令查看可以设置的选项,在通过set命令设置,在help set显示的选项中带*号的是必选项,其他的根据需要进行设置。

set 命令格式: set [选项] [参数]

举例: set url http://192.168.16.132/wordpress/?s=11

  • check 命令:

输入check argv 显示set中设置的参数值

其中agent参数,即版本信息默认会随机获取。

  • exec 命令

执行检测命令,命令格式:exec 插件名称[.模块名称]

如果只输入插件名称[attacks,audit,brute,disclosure],则会执行当前插件下所有漏洞检测模块,如果输入 插件名称.模块名称,例如:attacks.xss,则仅会执行当前插件下指定的模块名称。

输入 exec audit : 执行检测中间件插件下的所有模块

输入 exec attacks.xss :使用注入插件中的检测xss漏洞模块:

输入 exec attacks.blindsqli :检测sql盲注漏洞

  • report 命令:

生成测试报告命令

命令参数: report [报告名称]

注:只有执行过起码一次完整的插件检测才能生成报告,而不是专项漏洞检测,即 exec 插件名称,而不是 exec 插件名称.模块名称

输入命令: report webscan

按照提示显示的目录,打开测试报告,报告格式是html的:

好了,以上就是使用扫描器的所有命令和完整的执行流程(这个报告执行了audit和attacks两个模块(插件),但结果都归为第一个插件模块了,原因如下)。

注意:关于生成报告,原来的代码应该是有问题的,如果只执行的是插件子模块,如 exec attacks.xss,再执行report webscan 生成报告是会失败的,这是因为代码里只有在执行插件总模块 exec attacks才会调用报告赋值(调用子模块的函数是startup_spec_attacks,没有重新赋报告值,所以导致exec子模块,报告数据就会并到前面的插件总模块),参见代码如下:

#执行attacks子模块函数,没有对REPORT进行再赋值
def startup_spec_attacks(attack:str):
    if attack in attacks_info.keys():
        plugins = spec_attacks_plugins(attack)
        startup_plugins(plugins)
    else:
        warn("模块不存在!")

def startup_full_attacks():
    global resultJson
    if not REPORT['startTime']:
        REPORT['startTime'] = strftime("%Y/%m/%d at %H:%M:%S")
    execmod.append("attacks")
    plugins = attacks_plugins()
    if resultJson:
        resultJson = {}
    startup_plugins(plugins)
    REPORT['attacks'] = resultJson  #调用总的attacks模块,才对报告结果赋值

这个问题需要引起关注,如果想简单的改,直接在startup_spec_attacks函数里加上REPORT赋值(需要有重复判断)就行:

def startup_spec_attacks(attack:str):
    global resultJson
    if not REPORT['startTime']:
        REPORT['startTime'] = strftime("%Y/%m/%d at %H:%M:%S")
    if resultJson and not REPORT['attacks']:
        resultJson = {}
    if attack in attacks_info.keys():
        execmod.append("attacks")
        plugins = spec_attacks_plugins(attack)
        startup_plugins(plugins)
        REPORT['attacks'] = resultJson
    else:
        warn("模块不存在!")

这么一改,再执行以上的扫描步骤,报告模板显得更准确,而且就算执行同一模块的attacks.xss和attacks.blindsqli,后面的也不会覆盖前面的,如下:

当然这样也不能保证完全没有问题,具体以后我还会去细致考虑这方面的优化!

插件的编写

大家按章节一的下载地址,下载工具后,用PyCharm或vscode或你顺手的工具打开,插件扫描器就在scan目录下

我们的插件编写,先从scan\\lib\\utils\\settings.py 全局配置文件开始

第一步:先看基础路径配置,整个项目的目录结构就在这里

第二步,配置字典路径,漏洞检测模块需要用到的字典,统一放在这个路径下

第三步:配置插件路径,新增的插件统一按下面的格式配置

第四步:配置插件描述信息,和第三步的插件路径是对应的

第五步:配置漏洞模块描述信息,和第四步的插件描述是对应的

第六步:配置漏洞模块路径信息,和第四步的插件描述是对应的

第七步:编写插件的加载模块方法

统一命名规则 插件名成_plugins()[全部模块执行方法];spec_插件名称_plugins(key:str)

第八步:编写检测漏洞模块,以attacks插件下的bshi(破壳漏洞检测)检测模块为例,

导入必须的核心库:

创建漏洞检测类,继承Request类,类名需与文件名一致

编写的漏洞检测方法,统一命名为check:

最后编写run方法,命名不建议修改,如果实在需要修改的话,还需要在第九步中修改对应的模块导入逻辑:

第九步:在localapi.py文件下编写本地API调用,为什么有本地API调用,因为我打算再写个远程API调用方法,结合安全工具的web服务使用(这一步不是必须的,只有在扩展新的插件才用到,如果在原有插件的基础上新增漏洞检测模块,则可以跳过这一步)

本地API函数的格式和基本路径,参考下图:

总结下扩展逻辑就是,命名插件便于统一管理模块,模块编写按固定格式,本地API编写用于按指定插件运行检测模块,该扫描器的检测模块还可以继续更新扩展。

由于我就学了半天Python语法和没几天的部署应用,还需要继续了解和学习,语言都是相通的,会Java的学Python也快,学好Python是有助于对这款开源工具的扩展应用和开发。

参考:https://zhuanlan.zhihu.com/p/368859499

以上是关于如何自己开发漏洞扫描工具的主要内容,如果未能解决你的问题,请参考以下文章

前端开发工具vscode如何快速生成代码片段

创建自己的代码片段(CodeSnippet)

黑客的等级是如何划分的?

安全测试 web安全测试 常规安全漏洞 可能存在SQL和JS注入漏洞场景分析。为什么自己没有找到漏洞,哪么可能存在漏洞场景是?SQL注入漏洞修复 JS注入漏洞修复 漏洞存在场景分析和修复示例(代码片段

代码扫描工具TScanCode

如何测量代码片段的调用次数和经过时间