AI全景分割布局养猪场！

Posted 2020-12-07 wujianming-110117

AI全景分割布局养猪场！

论文链接：https://arxiv.org/pdf/2005.10499.pdf

摘要

如果使用自动识别系统，猪的行为研究可以大大简化。特别是基于计算机视觉的系统，其优点是可以在不影响动物正常行为的情况下进行评估。近年来，基于深度学习的方法被引入，并取得了令人愉快的效果。特别是目标和关键点检测器已经被用来检测个体动物。尽管取得了很好的效果，但边界框和稀疏的关键点并不能追踪动物的轮廓，导致大量信息丢失。因此，这项工作遵循了全景分割的相对新定义，旨在对单个猪进行像素精确分割。为此，提出了一种用于语义分割的神经网络框架、不同的网络头和后处理方法。通过产生的实例分割屏蔽了进一步的信息，如动物的大小或重量可以估计。该方法在一个特别创建的数据集上进行了测试，该数据集包含1000幅手工标记的图像，尽管存在遮挡和脏镜头等干扰，但检测率仍达到95%左右（F1分）。

全景分割将实例分割与语义分割统一起来，自提出之后一直被用于分割街景等图像。但最近，有人把这项技术用到了养猪场。

 

 尽管相机记录由于其低成本操作和非强度而具有许多优点，但即使在光线条件差和有污染的情况下，也难以可靠地检测动物。以前的工作使用经典的图像处理，如对比度增强和使用阈值或差分图像的二值分割，以将动物与背景分离。随后，介绍了基于学习特征或优化过程的更复杂检测方法的优点。随着深度学习领域的最新发现，利用神经网络对猪的检测也得到了解决。要么将建立的目标检测网络直接应用于清管器，要么对发现的检测进行后处理，以视觉方式分离触摸清管器。虽然这些目标检测方法的检测率非常高，但生成的边界框是次优的，因为根据动物的方向，边界框可能包含大面积的背景甚至其他动物的部分（见图1）。所以，牛皮癣。提出了一种避免使用包围盒并尝试直接检测特定身体部位（如肩膀和背部）上有关键点的动物的准确姿势的方法。

许多研究表明，可以通过猪的日常行为来推断其健康状态，所以如何有效观察「猪」的行为显得极其重要，这可以保证在「必要时」采取迅速的干预行动，以保证猪的健康状态。

长时间观察动物的行为很难人工完成，因此通常情况下采取的方案是使用基于传感器的自动化系统。

 

  自动识别系统的使用可以大大简化对猪的行为的研究，尤其是基于计算机视觉的系统。其优势在于，它们可以对目标进行有效的状态评估，同时也不会影响动物的正常行为。近年来，这一方向的研究已经引入了深度学习的方法，并表现出不错的效果。传统意义上的「目标」和「关键点」检测器已被用于检测单个动物。虽然效果良好，但是边界框以及稀疏关键点无法追踪动物的轮廓，从而会导致丢失许多有效信息。

因此，来自德国基尔大学和哥廷根大学的研究者开发了一套用在养猪场的全景分割系统。他们按照相对较新的定义进行猪的全景分割，目的在于对单个猪进行像素级的精确分割。为实现以上目的，他们提出了一种用于语义分割的神经网络框架，以及不同的网络主干（network heads）与后处理方法（postprocessing methods）。利用生成的实例分割蒙版，之后可以用来预测动物的大小或体重等信息。

 

  该方法在带有 1000 个手工标记图像的数据集上进行了测试，尽管也存在遮挡物和镜头污染（dirty lenses）之类的干扰，但仍可达到约 95％的检测精度（F1 分数）。

方法

论文所提方法的目的是：使用安装在猪圈上方的摄像头采集图片，之后对图片中所有的猪进行全景分割。全景分割是语义分割与实例分割的结合，其中语义分割将背景与猪区分开来，实例分割用于区分不同个体的猪，如下图所示。

 论文中不同分割实验的可视化效果图。

论文所提出的全景分割方法是对经典语义分割的扩展。分割任务被分为如下四个独立的实验，来逐渐增加其复杂度：
1.  二值分割

2.  语义分割

3.  结合二值分割与像素嵌入的精确像素级实例分割（pixel precise instance segmentation）

4.  像素嵌入与身体部位分割相结合的猪头朝向识别

以上所有实验均使用了相同的网络结构。仅对最后一层网络进行相应调整，以得到需要的输出。因此，论文所提框架能够适用于以上不同实验。整个分割框架如下图所示。

 论文所提分割框架示意图。

   实验

这项研究所使用的数据来自一家传统的仔猪养殖场。这里共安装了 5 个摄像头，每个摄像头覆盖两个 5.69 平方米的畜栏，每个畜栏最多有 13 头猪。这些猪 27 天大时入栏，在养殖场里待 40 天。该数据集涵盖养殖场四个月的数据。然后从所有可用视频中随机选取 1000 个分辨率为 1280x800 像素的帧，并进行人工标注。
在二值分割中，该网络预测特定像素的类别属于猪或背景的概率，预测准确率如下表 2 所示：

   表 2：二值分割实验的准确率结果。

在类别分割任务中，将猪的类别内核设置为椭圆大小的 50%（见图 8c）。下表 3 展示了实验结果：

  表 3：类别分割和组合分割中对提取椭圆的检测结果。

对于猪头朝向的识别，该研究使用了与以前相同的组合网络，区别在于用身体部位分割替换了之前的二值分割。实验结果见下表 4：

  表 4：猪头朝向的识别结果。该网络可以正确识别 94％的猪头朝向（真阳性）。

  图 8：不同实验对示例图像的处理结果。

AI 养猪，到底靠不靠谱？
众所周知，AI 养猪并不是一个刚刚兴起的概念，早在两三年前就已经被炒得很火，阿里、京东等巨头也纷纷入场。但在这场热潮背后，业内外人士纷纷质疑：AI 养猪，到底靠不靠谱？
大家质疑的点主要在于，首先，在养猪行业加入 AI 到底有没有解决养猪的痛点？从目前的进展来看，阿里、京东以及上文介绍的论文作者都聚焦于用成熟的计算机视觉等技术来改善传统养猪行业的某个流程。但有人指出，他们所解决的可能并不是根本问题，而与该行业成本息息相关的饲料成本、生物成本、固定资产成本等问题其实跟 AI 关系不大。因此，AI 只是起到了一个锦上添花「可有可无」的作用。