基于文本字符的交易验证码识别0.98+解决方案

Posted 2022-03-31 AI浩

赛题介绍

赛题名称：

基于文本字符的验证码识别竞赛

出题单位：

兴业银行股份有限公司

赛题背景：

验证码作为性价较高的安全验证方法，在多场合得到了广泛的应用，有效地防止了机器人进行身份欺骗，其中，以基于文本字符的静态验证码最为常见。随着使用的深入，噪声点、噪声线、重叠、形变等干扰手段层出不穷，不断提升安全防范级别。RPA技术作为企业数字化转型的关键，因为其部署的非侵入式备受企业青睐，验证码识别率不高往往限制了RPA技术的应用。一个能同时过滤多种干扰的验证码模型，对于相关自动化技术的拓展使用有着一定的商业价值。

赛题任务：

本次大赛以已标记字符信息的实例字符验证码图像数据为训练样本，参赛选手需基于提供的样本构建模型，对测试集中的字符验证码图像进行识别，提取有效的字符信息。训练数据集不局限于提供的数据，可以加入公开的数据集。

数据简介

此次比赛为选手提供15000张带标注信息的训练数据集，每张训练数据都是包含一个4位文本字符的验证码图像，并对当前图像中的文本字符进行了标注；测试数据集含25000张验证码图像。

吐槽

对于这场比赛，吐槽的人非常多！总结下来有以下几点：

1、A榜和B榜的数据分布差距较大，导致很多前排变后排。令无数高手竟折腰。

2、比赛意义不大这是场为了比赛而比赛的赛题。

解决方案

在竞赛群里看大佬的聊天得知，大家用的上分手段有：五折交叉验证、CutOut、CutMix、MixUp、生成数据等。模型一般用EfficientNetV1、V2。

在上分手段段我也采用了上面的一些手段，我的方案是：EfficientNetV1-B7+MixUp+CutOut。后期加入了CutMix，没有来得及测试效果。把验证码识别按照多标签分类去做。

解决方案参考github：https://github.com/zyf-xtu/captcha_ocr

训练得分：0.9854，由于测评已经关闭，没有办法得知在A榜的得分了。

下面详细说一下我的方案。

数据

对数据部分的修改在captcha_dataset.py文件中。对geitem方法做了修改：

    def __getitem__(self, index):
        img_path, target = self.samples[index]
        # #print('target', target)
               # #print('random_t', random_t)
        img = img_loader(img_path)
        if np.random.random() > 0.5 and self.train_type==True:
            img_arr = np.array(img)
            index_arr=np.random.permutation(img_arr.shape[2])
            img_arr=img_arr[:,:,index_arr]
            img = Image.fromarray(img_arr.astype('uint8')).convert('RGB')
        if np.random.random() > 0.5 and self.train_type==True:
            img_random_path, random_t = self.samples[np.random.randint(0, len(self.samples))]
            img_random = img_loader(img_random_path)
            img_arr = np.array(img)
            img_random_arr = np.array(img_random)
            img_arr[:, 50:100, :] = img_random_arr[:, 50:100, :]
            img = Image.fromarray(img_arr.astype('uint8')).convert('RGB')
            target = target[:124] + random_t[124:]
        if self.transform is not None:
            img = self.transform(img)
        if self.target_transform is not None:
            target = self.target_transform(target)

        return img, torch.Tensor(target)

在这个方法里，我增加了两种数据增强，一种是对通道的随机，也就是RGB的随机；另一种是CutMix，将图片的前半部分和另一张图片的后半部分做拼接。然后Label也做相应的拼接。

训练

训练是最重要的部分，这些修改在train_1.py中，我把我修改的地方列举出来：

image_sizeh,image_sizew=240,600

将图片的Resize尺寸设置为240×600，放大了6倍。

数据增强我增加了CutOut：

Cutout使用到了torchtoolbox，如果没有torchtoolbox则需要安装：

pip install torchtoolbox

安装完成后导入：

from torchtoolbox.transform import Cutout

然后再transforms中调用。

 # transform = [, transforms.GaussianBlur(21, 10)]
    train_transform = transforms.Compose([
    	Cutout(),
        transforms.Resize((image_sizeh, image_sizew)),  # 图像放缩
        transforms.RandomRotation((-5, 5)),  # 随机旋转
        # transforms.RandomVerticalFlip(p=0.2),  # 随机旋转
        transforms.ToTensor(),  # 转化成张量
        transforms.Normalize(
            mean=train_mean,
            std=train_std
        )
    ])

加载数据部分我做了修改：

 # 加载训练数据集，转化成标准格式
    train_dataset = CaptchaData(train_paths,train_type=True, transform=train_transform)
    # 加载验证集，转化成标准格式
    val_dataset = CaptchaData(val_paths,train_type=False, transform=val_transform)

增加了train_type字段，判断是否是训练，如果是训练则做数据增强，如果不是则不作数据增强。

# 如果是多个gpu，数据并行训练
    device_ids = [0, 1]
    model = torch.nn.DataParallel(model, device_ids=device_ids)

增加多GPU并行，我本地的环境有两块3090，所以device_ids设置为0、1。

    cosine_schedule = optim.lr_scheduler.CosineAnnealingLR(optimizer=optimizer, T_max=20, eta_min=1e-6)

对学习率的调整，我用余弦退火。学习率初始值为1e-3，最小设置为1e-6。

 inputs, labels_a, labels_b, lam = mixup_data(inputs, labels, 0.2)
            # 预测输出
            outputs = model(inputs)
            # 计算MixUp loss
            loss = mixup_criterion(loss_func, outputs, labels_a, labels_b, lam)

增加mixup，mixup提分还是比较明显的。

本次比赛另一位大佬也做了开源，github地址：https://github.com/xiaoxiaokuaile/2022DCIC_OCR

总结

这次比赛虽然不完美，但是在比赛中学到了不少的知识，我觉得这才是最重要的。

完整的代码：https://download.csdn.net/download/hhhhhhhhhhwwwwwwwwww/85050647