论文笔记：Positive-incentive Noise

Posted 2023-03-10 UQI-LIUWJ

2022 TNNLS

• 中心思想是：噪声并不一定是有害的

1 CV问题中的噪声

• 以图像分类为例

  •  对图像加入适量的噪声后再训练，识别准确率反而上升了

  • 

• 再以目标检测为例：
  • 
  • 从遥感影像中做飞机检测，一般都是把飞机紧紧框住，然后做模型训练。
  • 如果把飞机的框适当增大一些，把跑道等干扰信息加进来，模型训练效果反而会更好
    • 可能是因为跑道等 “噪声” 和目标之间存在语义相关性，从而对完成飞机检测任务起到了正面的驱动作用，提高了检测准确率。

   

2 任务熵

• 噪声在获取、数据、特征、样本、决策等诸多层面都存在，根据对完成任务是否存在正向驱动作用，可将噪声划分为 “正激励噪声”（Positive-incentive Noise, Pi/π-Noise）和 “纯噪声”。
  • “正激励噪声” 指的是有用的噪声，能对完成任务起到正面的驱动作用。
  • “纯噪声” 则是无用、有害的噪声，会妨碍任务的有效执行。
• 为挖掘和利用正激励噪声，论文提出“任务熵”（Task Entropy）H(J)

   

  • 在任务给定的情况下，任务熵的大小衡量了噪声ε与任务J之间 “互信息”（Mutual Information）的多少
    • 互信息用来度量两个随机变量的 “共有信息”。
    • 任务熵作为一种熵，也可以理解成描述混乱程度，值越大表示越混乱
• 当互信息大于0的时候，噪声ε是正激励噪声，会正向驱动任务J
  • 
  • 此时H(J)表示没有噪声时候的任务熵，它比H(J|ε)（有噪声时候的任务熵）大，也就是说，有了噪声之后，反而混乱程度小

   

 

参考内容：噪声总是有害吗？西工大李学龙教授提出基于任务熵的数学分析框架 (qq.com)