CRF图像切割简单介绍

Posted 2020-09-27 slgkaifa

这里主要是讲Conditional Random Fields(CRF)用于pixel-wise的图像标记（事实上就是图像切割）。CRF经经常使用于 pixel-wise的label 预測。当把像素的label作为形成马尔科夫场随机变量且能够获得全局观測时，CRF便能够对这些label进行建模。这样的全局观測通常就是输入图像。

令随机变量$X_i$是像素$i$的标签。

$$X_i \in L = \{l_1,l_2, ..., l_L \}$$
令变量X是由$X_1, X_2, ..., X_N$组成的随机向量，$N$就是图像的像素个数。
如果图 $G = (V, E)$。当中$V = \{X_1, X_2, ...,X_N\}$，全局观測为$I$ 。使用Gibbs分布。$(I, X)$能够被模型为CRF， $$P(X=x|I) = {1 \over Z(I)}exp(-E(x|I))$$ .

在全连接的CRF模型中，标签 $x$ 的能量能够表示为：

$$E(x) = \sum _i \varphi(x_i) + \sum _{i<j} \varphi _p (x_i, x_j)$$
当中 $\varphi _u(x_i)$是一元能量项。代表着将像素 $i$分成label $x_i$ 的能量。 $\varphi_p(x_i, x_j)$是对像素点 $i$、$j$同一时候切割成$x_i$、$x_j$的能量。

最小化上面的能量就能够找到最有可能的切割。