【论文笔记】Fully Connected CRFs

论文：《Efficient Inference in Fully Connected CRFs with Gaussian Edge Potentials》，NIPS 2011

1. 概览

全连接条件随机场（Fully Connected CRF）也叫做 Dense CRF，即图像中每个像素都与其他所有像素相关，为每个像素对都建立 pairwise potential，但是问题在于，连接数量是像素数量的平方级别，这就导致了即使是很小的一幅图像，计算复杂度都会非常大，从而实用性不高。

所以文本的主要贡献是提出了对于 fully connected CRF 进行高效推理的算法

具体方法：
将 pairwise potential 定义为？？？
平均场近似 CRF 分布

2. Dense CRF

2.1 直观说明

直观表示参考：Dense CRF

2.2 Dense CRF 模型

定义随机场 X = { X 1 , . . . , X N } X = \{X_1,...,X_N\} X={X1​,...,XN​}，$N$ 为一幅图像中的像素个数，$X_i$ 为给第 $i$ 个像素分配的标签，$X$ 为一幅图像所有像素标签的集合，$X_i$ 的取值范围为 L = { l 1 , l 2 , . . . , l k } \mathfrak{L} = \{l_1,l_2,...,l_k\} L={l1​,l2​,...,lk​}，也就是有 $k$ 类标签，可以将 $X$ 理解为某一种 “标签分配方案”。

再定义一个随机场 I = { I 1 , . . . , I N } I = \{I_1,...,I_N\} I={I1​,...,IN​}，$N$ 为一副图像中的像素个数，$I_i$ 为第 $i$ 个像素的特征向量（比如颜色），$I$ 为一幅图像所有像素的特征向量，可以将 $I$ 理解为一幅图像的 “整体特征”。

定义条件随即场 $(I,X)$ 对应的 Gibbs distribution（吉布斯分布）：
$$P(X|I)=\frac{1}{Z(I)}exp(-\sum _{c\in C_{\mathfrak{g}}}{\varphi }_c(X_c|I))$$
其中，$\mathfrak{g}=(V,\epsilon )$

Gibbs energy：
KaTeX parse error: Expected group after '_' at position 15: E(x|I) = \sum_̲

关于 CRF model，参考论文：《Conditional random fields probabilistic models for segmenting and labeling sequence data》

2.3 能量函数

CRF 模型的能量函数表达形式：
$$E(x)=\sum _i{\psi }_u(x_i)+\sum _{i<j}{\psi }_p(x_i,x_j)$$

• ${\sum }_i{\psi }_u(x_i)$ ：每个像素都有一个一元势函数（unary potentials），此时只考虑当前像素的类别，不考虑其他像素的类别
• ${\sum }_{i<j}{\psi }_p(x_i,x_j)$：每个像素对都有一个二元势函数（pairwise potentials），也叫平滑项，它鼓励特征相似的像素具有一致的标签

注意：这里的能量函数是所有像素点的能量和，不是某一个像素点的能量。

由于二元势函数是每个像素点与其他所有像素的关系，所以有 $n(n-1)/2$ 组，可以说连接数量是像素数量的平方级别，如果有一张 100 万像素的图片，那么就会建立 4950 亿组 pairwise 特征。正是因为这种复杂的形式，所以这个模型被称作 Dense CRF。

其中 pairwise 部分定义为：
$${\psi }_p(x_i,x_j)=\mu (x_i,x_j)\sum _{m=1}^K{w}^{(m)}{k}^{(m)}(f_i.f_j)$$

• $\mu (x_i,x_j)$，称作 label compatibility 项，顾名思义 标签一致性 项，

参考：
FCN(3)——DenseCRF
全卷积网络和全连接条件随机场
【文献学习】具有高斯边缘势能的全连接CRF的高效推理