markdown 调查した资料

Posted 2021-05-05

# Simultaneous Edge Alignment and Learning [Zhiding Yu+, ECCV, 2018]
http://openaccess.thecvf.com/content_ECCV_2018/html/Zhiding_Yu_SEAL_A_Framework_ECCV_2018_paper.html

## Abstract 

Edge detection is among the most fundamental vision problems for its role in perceptual grouping and its wide applications. 
Recent advances in representation learning have led to considerable improvements in this area. Many state of the art edge detection models are learned with fully convolutional networks (FCNs). 

However, FCN-based edge learning tends to be vulnerable to misaligned labels due to the delicate structure of edges. 
While such problem was considered in evaluation benchmarks, similar issue has not been explicitly addressed in general edge learning.

In this paper, we show that label misalignment can cause considerably degraded edge learning quality, and address this issue by proposing a simultaneous edge alignment and learning framework. 
To this end, we formulate a probabilistic model where edge alignment is treated as latent variable optimization, and is learned end-to-end during network training. 
Experiments show several applications of this work, including improved edge detection with state of the art performance, and automatic refinement of noisy annotations.

### Abstract (Google翻訳)
エッジ検出は、知覚的グループ化におけるその役割およびその広範な用途のための最も根本的な視覚問題の一つである。
表現学習における最近の進歩は、この分野においてかなりの改善をもたらした。 最新のエッジ検出モデルの多くは、完全畳み込みネットワーク（FCN）で学習されています。

ただし、FCNベースのエッジ学習は、エッジの構造が繊細であるため、ラベルの位置ずれを起こしやすい傾向があります。
このような問題は評価ベンチマークで考慮されましたが、一般的なエッジラーニングでは同様の問題が明示的に解決されていません。

本稿では、ラベルの位置ずれがエッジ学習の品質を著しく低下させる可能性があることを示し、同時にエッジ位置合わせと学習のフレームワークを提案することでこの問題に対処します。
この目的のために、エッジアラインメントが潜在変数最適化として扱われ、ネットワークトレーニング中にエンドツーエンドで学習される確率モデルを作成します。
実験は、最先端の性能を備えた改善されたエッジ検出、およびノイズの多い注釈の自動改良を含む、この研究のいくつかの応用を示しています。

# Semantic Segmentation
### 意味
semantic: 意味的な，意味論的な，語義の

segmentation:  分割，分裂
### 概要
各画素がどの物体に属するのかを推定する技術

画像の領域を分割するタスクをSegmentation(領域分割)と呼び、Semantic Segmentationは「何が写っているか」で画像領域を分割するタスクのことを指す。

画像を物体領域単位で分類する物体認識や物体検出に対して、Semantic Segmentationは画像をpixel単位でどのクラスに属するか分類する。そのためPixel-labelingとも呼ばれる。


Ground truth:
もともとは地上の衛星写真画像から、 各領域が砂漠、森林、都市、牧場などの、どのカテゴリーに入るかを認識する際に生まれた用語である。
認識手法を研究する際には、各部分の真のカテゴリーが判っている画像がないと研究できない。
### データセット
VOC2012
MSCOCO

### 既存研究
- FCN
- SegNet
- Dilated畳み込み
- DeepLab(v1 & v2)
- RefineNet
- PSPNet
- Large Kernel Matters


### 参考にしたサイト
- ディープラーニングにおけるセマンティックセグメンテーションのガイド2017年版
  - https://postd.cc/semantic-segmentation-deep-learning-review/
- FCN (Fully Convolutional Network)：ディープラーニングによるSemantic Segmentation手法
  - https://blog.negativemind.com/2019/03/11/semantic-segmentation-by-fully-convolutional-network/

# Fully Convolutional Networks for Semantic Segmentation [Jonathan Long+, CVPR, 2015]
> CVPR 2015 論文ページ
- https://www.cv-foundation.org/openaccess/content_cvpr_2015/html/Long_Fully_Convolutional_Networks_2015_CVPR_paper.html

> PDF
- https://www.cv-foundation.org/openaccess/content_cvpr_2015/papers/Long_Fully_Convolutional_Networks_2015_CVPR_paper.pdf

## 全層畳み込みネットワーク

### 重要事項
- エンドツーエンドの畳み込みネットワークをセマンティックセグメンテーションに使用することを普及させた。
- セグメンテーションのために、事前学習済みネットワークのイメージネットを別な目的で使用する。
- 逆畳み込み層を用いたアップサンプリング。
- アップサンプリングした対象のきめの粗さを改善する、スキップ接続の導入。

### Abstract
Convolutional networks are powerful visual models that yield hierarchies of features.
We show that convolutional networks by themselves, trained end-to-end, pixels-to-pixels, mantic segmentation. 

Our key insight is to build "fully convolutional" networks that take input of arbitrary size and produce correspondingly-sized output with efficient inference and learning. 
We define and detail the space of fully convolutional networks, explain their application to spatially dense prediction tasks, and draw connections to prior models. 

We adapt contemporary classification networks (AlexNet, the VGG net, and GoogLeNet) into fully convolutional networks and transfer their learned representations by fine-tuning to the segmentation task. 
We then define a skip architecture that combines semantic information from a deep, coarse layer with appearance information from a shallow, fine layer to produce accurate and detailed segmentations.

Our fully convolutional network achieves state-of-the-art segmentation of PASCAL VOC (20% relative improvement to 62.2% mean IU on 2012), NYUDv2, and SIFT Flow, 
while inference takes less than one fifth of a second for a typical image.

#### 要約
畳み込みネットワークは、機能の階層を生み出す強力なビジュアルモデルです。
エンドツーエンドで訓練された、ピクセルからピクセルへの畳み込みネットワークは、それ自体で意味的セグメンテーションの最先端技術を超えることを示します。

私たちの重要な洞察は、任意のサイズの入力を取り入れ、効率的な推論と学習を用いて対応するサイズの出力を生成する「完全畳み込み」ネットワークを構築することです。
我々は、完全畳み込みネットワークの空間を定義し詳細に述べ、それらの空間的に密な予測タスクへの応用を説明し、そして以前のモデルへの接続を描く。

我々は現代の分類ネットワーク（AlexNet、VGGネット、およびGoogLeNet）を完全畳み込みネットワークに適応させ、セグメンテーションタスクに微調整することによってそれらの学習表現を転送します。
それから、正確で詳細なセグメンテーションを生成するために、深く粗い層からの意味情報を浅い、細かい層からの外観情報と組み合わせるスキップアーキテクチャを定義します。

私たちの完全畳み込みネットワークは、PASCAL VOC（2012年の平均IU 62.2％に対して20％の相対改善）、NYUDv2、SIFT Flowの最先端のセグメンテーションを達成します。
一方、推論は典型的な画像に対して1/5秒未満です。 



### 参考資料
- Overfeat
  - https://arxiv.org/abs/1312.6229
- FCN (Fully Convolutional Network)：ディープラーニングによるSemantic Segmentation手法
  - https://blog.negativemind.com/2019/03/11/semantic-segmentation-by-fully-convolutional-network/