文本检测DB:Real-time Scene Text Detection with Differentiable Binarization

Posted 2022-04-18 超级无敌陈大佬的跟班

DB:Real-time Scene Text Detection with Differentiable Binarization

关键创新点：Differentiable Binarization(DB,可微分二值化)，作者提出了一种可微分的二值化方式，相比于传统的二值化操作，DB能够在网络中进行端到端训练。

一.网络整体流程

网络整体流程如下图所示：

• backbone提特征 + FPN结构 进行多尺度图像特征融合
• FPN结构融合特征后会生成两个特征图 probability map(预测图) 跟 threshold map(阈值图)
• 通过probability map 与threshold map 两个特征图做DB差分操作得到文字区域二分图
• 二分图经过cv2 轮廓得到文字区域信息

二.Differentiable Binarization可微二值化

可微二值化(Differentiable Binarization)是论文中的核心创新点.

2.1 传统二值化和DB可微二值化的区别

传统二值化操作方式(上图蓝色箭头)：

• 首先，使用一个固定的阈值，用于将segmentation map转换为二值化图像；
• 然后，使用像素聚类等方式将像素分组为文本实例；

DB可微二值化的操作方式(上图红色箭头)：

• 将 segmentation map与threshold map做一次可微分二值化(DB)得到二值化图，然后再经过后处理得到最终结果。
• 将二值化操作放到网络中进行优化，可以自适应地预测图像每个位置的阈值，从而可以将像素与前景和背景完全区分开。 但是，标准二值化函数是不可微分的，因此，本文提出了一种二值化的近似函数，称为可微分二值化（DB），训练阶段该函数完全可微分。

传统二值化公式：

                                         

 

 文字检测（三）Differentiable Binarization论文阅读 - 知乎

[AAAI2020]论文翻译DB:Real-time Scene Text Detection with Differentiable Binarization - 简书 

可微二值化的实时场景文本检测 - 知乎

DB：Real-time Scene Text Detection with Differentiable Binarization - 简书

创作挑战赛 新人创作奖励来咯，坚持创作打卡瓜分现金大奖