AidLux智慧交通实战-车辆检测&AI对抗攻防算法实现
Posted weixin_43472434
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了AidLux智慧交通实战-车辆检测&AI对抗攻防算法实现相关的知识,希望对你有一定的参考价值。
- 完整项目代码:https://github.com/yangdadage/AidLux_intelligent_transportation/tree/master
- 课件及老师示例代码可关注AidLux公众号获取:
1.车辆检测
通常情况下检测任务是整个算法解决方案的一个前置模型,通过检测车辆,行人,交通指示牌等目标,再对感兴趣的目标区域进行级联任务的后续处理。因此关于此次智慧交通项目,首先是完成一个车辆检测模型的训练与部署测试,作为后续对抗攻击与对抗防御、AI安全业务功能以及告警提示等任务的目标。
具体见项目代码中的Lesson3_code,详细讲解可见训练营笔记:AidLux智慧交通AI安全实战训练营3--车辆检测模型训练及部署教程。
2.AI对抗攻击&防御
2.1AI对抗攻击
对抗攻击(adversarial attack)是AI安全方向的重要分支,其核心逻辑是在数据中增加一些微小扰动,在人类视觉系统无法察觉的情况下,使得算法模型对这些数据产生误判。其中被增加扰动的数据也称为对抗样本。
下面是训练营笔记中的例子:
下面是一些使用PGD攻击算法得到的例子:
具体的对抗攻击代码在Lesson4_code/attack_code.py中,包括更详细的讲解见笔记:AidLux智慧交通AI安全实战训练营4--AI对抗攻击&防御实践及部署教程。主要代码如下:
### 常规模型加载,mobilenet_v2为正常的图像分类模型
model = mobilenet_v2(weights=None)
model_param = torch.load(
'/intelligent_transportation/Lesson4_code/model/mobilenet_v2-b0353104.pth'
)
model.load_state_dict(model_param) # 预训练图像分类模型加载
model.eval()
model = nn.Sequential(normalize, model)
model = model.to(device)
### 数据预处理
np_img = get_image() # 读取数据
img = torch.tensor(bhwc2bchw(np_img))[None, :, :, :].float().to(device)
imagenet_label2classname = ImageNetClassNameLookup()
### 测试模型输出结果
pred = imagenet_label2classname(predict_from_logits(model(img)))
print("test output:", pred)
### 输出原label
pred_label = predict_from_logits(model(img))
### 对抗攻击:PGD攻击算法
adversary = LinfPGDAttack(
model, eps=8 / 255, eps_iter=2 / 255, nb_iter=80,
rand_init=True)
### 完成攻击,输出对抗样本
advimg = adversary.perturb(img, pred_label)
### 展示源图片,对抗扰动,对抗样本以及模型的输出结果
show_images(model, img, advimg)
上面代码使用的对抗攻击算法为PGD攻击算法。
2.2AI对抗防御
在对抗攻击技术出现之后,对抗防御技术也孕育而生。对抗防御一般针对对抗攻击技术而展开,有针对特定攻击的特定防御,也有一般性防御策略。详细对抗防御代码见Lesson4_code/defense_code.py,更多的对抗防御方法及展示见笔记。主要代码如下:
### 常规模型+GCM模块 加载
model_defense = Model().eval().to(device)
### 数据预处理
np_img = get_image()
img = torch.tensor(bhwc2bchw(np_img))[None, :, :, :].float().to(device)
imagenet_label2classname = ImageNetClassNameLookup()
### 测试模型输出结果
pred_defense = imagenet_label2classname(predict_from_logits(model_defense(img)))
print("test output:", pred_defense)
pre_label = predict_from_logits(model_defense(img))
### 对抗攻击:PGD攻击算法,使用攻击算法攻击GCM防御模型
adversary = LinfPGDAttack(
model_defense, eps=8 / 255, eps_iter=2 / 255, nb_iter=80,
rand_init=True, targeted=False)
### 完成攻击,输出对抗样本
advimg = adversary.perturb(img, pre_label)
### 展示源图片,对抗扰动,对抗样本以及模型的输出结果
show_images(model_defense, img, advimg)
上面的对抗防御算法使用的是GCM防御算法。
3.整体流程串联
3.1整体流程
3.2车辆检测+区域提取
车辆检测任务前面已经讲过,具体的车辆检测模型是YOLOv5,训练和部署过程均在笔记中。在原始图像中完成车辆目标框的开框定后,需要将咱们的感兴趣区域即车辆目标框提取出来,效果如下:
车辆区域提取代码在Lesson5_code/yolov5_extract.py中,具体车辆区域提取功能实现代码如下:
def extract_detect_res(img, all_boxes, image_name, save_folder=None):
'''
检测结果提取
'''
assert save_folder != None, '请输入保存地址!'
img = img.astype(np.uint8)
color_step = int(255/len(all_boxes))
img_name_lst = []
for bi in range(len(all_boxes)):
if len(all_boxes[bi]) == 0:
continue
count = 0
for box in all_boxes[bi]:
x, y, w, h = [int(t) for t in box[:4]]
#cv2.putText(img, f'coco_class[bi]', (x, y), cv2.FONT_HERSHEY_SIMPLEX, 1, (255, 255, 255), 2)
#cv2.rectangle(img, (x,y), (x+w, y+h),(0, bi*color_step, 255-bi*color_step),thickness = 2)
cut_img = img[y:(y+h), x:(x + w)]
cv2.imwrite(f'save_folder' \\
+ image_name + "_" + str(count) + ".jpg",cut_img)
img_name_lst.append(image_name + "_" + str(count) + ".jpg")
count += 1
# cvs.imshow(cut_img)
return img_name_lst
3.3对抗攻击
有了车辆区域后,就可以模拟真实的场景,模拟外部用户对模型进行攻击,使得模型识别的能力出现错乱。这里使用基于迁移的黑盒攻击,通过攻击算法生成车辆区域对抗样本,最后将对抗样本给到常规的识别模型即可完成攻击,具体的生成车辆区域对抗样本的代码见Lesson5_code/adv_code/black_attack.py,其中主要代码如下:
### 常规模型加载
# model = mobilenet_v2(pretrained=True)
model = mobilenet_v2(pretrained=None)
pretrain_param = torch.load('/home/intelligent_transportation/Lesson5_code/model/mobilenet_v2-b0353104.pth')
model.load_state_dict(pretrain_param)
model.eval()
model = nn.Sequential(normalize, model)
model = model.to(device)
### 替身模型加载
# model_su = resnet18(pretrained=True)
model_su = resnet18(pretrained=False)
resnet18_param = torch.load('/home/intelligent_transportation/Lesson5_code/model/resnet18-5c106cde.pth')
model_su.load_state_dict(resnet18_param)
model_su.eval()
model_su = nn.Sequential(normalize, model_su)
model_su = model_su.to(device)
### 对抗攻击:PGD攻击算法
# adversary = LinfPGDAttack(
# model_su, eps=8/255, eps_iter=2/255, nb_iter=80,
# rand_init=True, targeted=False)
adversary = FGSM(
model_su, eps=8/255, eps_iter=2/255, nb_iter=80,
rand_init=True, targeted=False
)
from pathlib import Path
src_img_path = Path('/home/intelligent_transportation/Lesson5_code/adv_code/orig_images')
img_path_lst = [p for p in src_img_path.rglob('*') if p.name.endswith('.jpg')]
for i, img_path in enumerate(img_path_lst):
print(img_path)
### 数据预处理
np_img = get_image(img_path=img_path)
img = torch.tensor(bhwc2bchw(np_img))[None, :, :, :].float().to(device)
imagenet_label2classname = ImageNetClassNameLookup()
### 测试模型输出结果
pred = imagenet_label2classname(predict_from_logits(model(img)))
print("test output:", pred)
### 输出原label
pred_label = predict_from_logits(model_su(img))
# 使用替身模型的相关信息进行对抗样本的获取
# 这包括替身模型的参数、输出label
### 完成攻击,输出对抗样本
advimg = adversary.perturb(img, pred_label)
### 展示源图片,对抗扰动,对抗样本以及模型的输出结果
show_images(model, img, advimg, img_name=f'show_int(i)_pred.png')
### 迁移攻击样本保存
save_path = "/home/intelligent_transportation/Lesson5_code/adv_code/adv_results/"
torchvision.utils.save_image(advimg.cpu().data, save_path + f"adv_image_int(i)_pred.png")
3.4对抗攻击监测+常规识别模型识别+喵提醒
此处的逻辑为:将车辆目标区域输入对抗攻击监测模型,注意,此时的车辆目标区域可能是正常样本也可能是对抗攻击样本,因此需要先一步通过监测模型进行监测。在完成对车辆目标区域的监测后,如果监测模型认为当前车辆区域为正常样本,则将其输入常规识别模型中对其进行识别,将识别出的车辆信息输入后续任务流程,而如果监测模型认为当前车辆区域为对抗攻击模型,则停止当前样本的后续业务流程,并通过喵提醒告警存在对抗风险。
对抗攻击监测+常规识别模型识别+喵提醒的实现代码在Lesson5_code/adv_code/detect_adv_code.py中,主要代码如下:
model = Model().eval().to(device) # 常规识别模型
detect_model = Detect_Model().eval().to(device) # 对抗攻击监测模型
if __name__ == '__main__':
from pathlib import Path
src_img_path = Path('/home/intelligent_transportation/Lesson5_code/adv_code/orig_images/')
# img_path_lst = [p for p in src_img_path.rglob('*') if p.name.split('_')[0] == 'adv']
img_path_lst = [p for p in src_img_path.rglob('*') if p.name.endswith('jpg')]
for img_path in img_path_lst:
print('=' * 60)
print(img_path.name)
np_img = get_image(img_path) # 读取车辆目标区域
img = torch.tensor(bhwc2bchw(np_img))[None, :, :, :].float().to(device) # 数据预处理
imagenet_label2classname = ImageNetClassNameLookup()
### 对抗攻击监测
detect_pred = detect_model(img) # 对车辆目标区域进行监测
print(detect_pred)
if detect_pred > 0.5: # 当监测模型认为其为对抗攻击样本时,通过喵提醒进行告警,并停止后续任务流程
id = 'tHyzzn1'
# 填写喵提醒中,发送的消息,这里放上前面提到的图片外链
text = "出现对抗攻击风险!!"
ts = str(time.time()) # 时间戳
type = 'json' # 返回内容格式
request_url = "http://miaotixing.com/trigger?"
headers =
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (Khtml, like Gecko) Chrome/87.0.4280.67 Safari/537.36 Edg/87.0.664.47'
result = requests.post(request_url + "id=" + id + "&text=" + text + "&ts=" + ts + "&type=" + type,
headers=headers)
print('存在对抗攻击风险!')
else: # 若监测模型认为当前样本为正常样本,则通过常规识别模型对其进行车辆识别
pred = imagenet_label2classname(predict_from_logits(model(img)))
print('=' * 60)
print('result: ', pred)
喵提醒告警提醒:
3.5整体串联
将上述各个部分进行串联,具体串联后的代码见Lesson5_code/app_main.py,其中主要代码如下:
if __name__ == '__main__':
# 车辆检测
# AidLite初始化:调用AidLite进行AI模型的加载与推理,需导入aidlite
aidlite = aidlite_gpu.aidlite()
# Aidlite模型路径
model_path = '/home/intelligent_transportation/Lesson5_code/yolov5_code/aidlux/yolov5_car_best-fp16.tflite'
# 定义输入输出shape
in_shape = [1 * 640 * 640 * 3 * 4]
out_shape = [1 * 25200 * 6 * 4]
# 加载Aidlite检测模型:支持tflite, tnn, mnn, ms, nb格式的模型加载
aidlite.ANNModel(model_path, in_shape, out_shape, 4, 0)
imgs_path = "/home/intelligent_transportation/Lesson5_code/yolov5_code/data/images/tests"
# 设置测试集路径
images_lst = os.listdir(imgs_path)
images_lst = [p for p in images_lst if p.endswith('jpg') or p.endswith('png')]
print(images_lst)
# extract_res: frame_lst, pred_lst, images_lst
extract_res = extract_car_img(imgs_path, images_lst)
# 检测框提取
save_folder = "/home/intelligent_transportation/Lesson5_code/yolov5_code/aidlux/extract_results/"
# 图片裁剪,提取车辆目标区域
car_img_name_lst = []
for frame, pred, img_name in zip(*extract_res):
img_name_lst = extract_detect_res(frame, pred, img_name, save_folder)
car_img_name_lst.extend(img_name_lst)
assert car_img_name_lst != [], '没有提取到车辆框!'
# 使用对抗样本
### 替身模型加载
normalize = NormalizeByChannelMeanStd(
mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])
# model_su = resnet18(pretrained=True)
model_su = resnet18(pretrained=False)
resnet18_param = torch.load('/home/intelligent_transportation/Lesson5_code/model/resnet18-5c106cde.pth')
model_su.load_state_dict(resnet18_param)
model_su.eval()
model_su = nn.Sequential(normalize, model_su)
model_su = model_su.to(device)
### 对抗攻击:PGD攻击算法
# adversary = LinfPGDAttack(
# model_su, eps=8/255, eps_iter=2/255, nb_iter=80,
# rand_init=True, targeted=False)
adversary = FGSM(
model_su, eps=8/255, targeted=False
)
use_advimg = False
print(f'是否使用对抗样本: use_advimg...')
print('车辆框信息:', car_img_name_lst)
img_res = []
for i, img_name in enumerate(car_img_name_lst):
print(img_name)
img_path = save_folder + img_name
if use_advimg:
advimg, advimg_path = get_advimg(img_path)
img_res.append(advimg)
else:
np_img = get_image(img_path)
img = torch.tensor(bhwc2bchw(np_img))[None, :, :, :].float().to(device)
img_res.append(img)
# AI安全监测与告警
model = Model().eval().to(device)
detect_model = Detect_Model().eval().to(device)
imagenet_label2classname = ImageNetClassNameLookup()
for img in img_res:
### 对抗攻击监测
print(img.size())
detect_pred = detect_model(img)
print(detect_pred)
if detect_pred > 0.5:
id = 'tHyzzn1'
# 填写喵提醒中,发送的消息,这里放上前面提到的图片外链
text = "出现对抗攻击风险!!"
ts = str(time.time()) # 时间戳
type = 'json' # 返回内容格式
request_url = "http://miaotixing.com/trigger?"
headers =
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.67 Safari/537.36 Edg/87.0.664.47'
result = requests.post(request_url + "id=" + id + "&text=" + text + "&ts=" + ts + "&type=" + type,
headers=headers)
print('存在对抗攻击风险!')
else:
pred = imagenet_label2classname(predict_from_logits(model(img)))
print('=' * 60)
print('result: ', pred)
测试图片在Lesson5_code/yolov5_code/data/images/tests中,对tests中的所有图片进行车辆检测和目标区域提取后,后续通过监测模型对所有车辆目标区域进行监测,若正常则进行车辆识别,若不正常则告警。测试结果如下:
4.测试结果展示
AI训练营测试素材测试结果展示:
测试视频测试结果:
aidlux智慧交通项目测试视频
5.心得体会
本次训练营的主题为智慧交通,第一期智慧城市的训练营我也参加了,一如既往的内容丰富,解答翔实。
以上是关于AidLux智慧交通实战-车辆检测&AI对抗攻防算法实现的主要内容,如果未能解决你的问题,请参考以下文章
盘它!基于CANN的辅助驾驶AI实战案例,轻松搞定车辆检测和车距计算!