【LRPP-GRR】Low-Rank Preserving Projection Via Graph Regularized Reconstruction

参考论文：Low-Rank Preserving Projection Via Graph Regularized Reconstruction
作者：Jie Wen, Na Han, Xiaozhao Fang , Lunke Fei, Ke Yan, and Shanhua Zhan

思想

  近些年，基于低秩的特征提取方法，由于他对噪声的鲁棒性和揭示数据固有全局结构方面的良好性能，收到广泛关注。然而原始的基于低秩的方法，如RPCA和LRR不能处理训练样本之外的新样本。为解决这一问题，Bao等人提出了IRPCA，通过学习低秩投影，既具有PCA的优点，又具有RPCA的优点。LatLRR考虑未被观测到的数据，学习一个低秩投影在无监督分类中提取显著特征。DLRR将LatLRR中的主成分恢复项和显著特征提取项整合为一项。但前面的方法由于所得到的投影矩阵与原始矩阵具有相同的维数，因此丧失了降维的能力。为了解决这个问题，类似于SPP的策略，LRPE首先从数据中学习一个LRR图，然后利用它来实现投影。此外Wong等人提出联合低秩嵌入投影LREP，将LRR图学习集成到联合优化模型中。
  上述无监督特征提取方法都专注于利用数据的内在关系来学习投影。但它们存在以下问题：

1. 上述方法仅仅考虑数据的局部或是全局几何结构。例如NPE,LPP,SPP考虑局部几何结构，LRR-based方法考虑全局几何结构。但全局和局部结构都解释了数据的关系；
   注：许多方法试图同时利用这两种结构进行投影学习，但他们至少都引入了一个额外的正则化项，而相应的正则化参数需要调整。
2. 如SPP,NPE,LPP等的特征提取方法，对特征维数较敏感。如针对不同任务自适应的选择合适的维数仍然是一个有待解决的问题；
3. 上述特征提取方法可解释性差，它们通过转换，同等地对待所有地特征，因此很难解释对于给定地任务来说，哪些特征是重要的。

针对上述问题，提出了一种基于图正则化的低秩保持投影方法LRPP_GRR。
不同于SPP,LPP,NPE和LRPE，LRPP_GRR将图学习和投影学习集成到一个联合优化的框架中，保证了全局最优。具体的LRPP_GRR有以下动机：

1. 对投影矩阵施加正交约束
2. 基于SR和LRR的分类中，发现原始样本和线性重构样本有相似的最近邻关系。在此基础上，该论文直接对基于低秩的数据重构误差施加一个最近邻图约束，以保持这种局部结构

模型

LatLRR只提取显著特征来进行分类，而忽略主成分信息。主成分也很有用。相比于LatLRR，DLRR不仅提取主成分，同时还保留数据的全局表示结构。
DLRR: $mi{n}_{Z,L}||Z|{|}_{\ast }+||L|{|}_{\ast }$
基于DLRR，本文提出了一个更灵活的学习投影矩阵的方法。$$mi{n}_{P,Q,Z}||Z|{|}_{\ast },s.t.X=P{Q}^{T}XZ$$其中Q是投影矩阵。X一列一个样本。
受SPCA的启发，对P施加正交约束得到：$$mi{n}_{P,Q,Z}||Z|{|}_{\ast },s.t.X=P{Q}^{T}XZ，P^{T}P=I$$这种情况下，P被认为是重构矩阵，使得Q能更好的捕捉主成分。
相比于DLRR，以上模型不仅有DLRR的优点，还实现了降维。
考虑到数据不仅包含大维度，还有许多对分类无用的冗余特征。因此对Q施加L2,1范数，得到：$$mi{n}_{P,Q,Z}{\lambda }_1||Z|{|}_{\ast }+{\lambda }_2||Q|{|}_{2,1},s.t.X=P{Q}^{T}XZ，P^{T}P=I$$其中${\lambda }_1，{\lambda }_2$是正则化参数，用于平衡相应的项。通过对Q施加L2,1范数，能够一致的选择有用的特征，且更具有解释性。
正如前面所说的，LRR捕捉了数据的全局结构，而忽略了数据的局部结构。现实应用种，数据（如人脸图像）通常取样自一个非线性的流行空间，所以保留局部结构也同样重要。下面介绍一个定理：
Lemma1： 假设样本$x_1\in R^{m\ast 1}$是样本$x_2\in R^{m\ast 1}$的最近邻，且它们都可以用字典$D\in R^{m\ast n}$来表示，$x_1=D{\alpha }_1,x_2=D{\alpha }_2$,。于是$x_1(x_2)$和样本$D{\alpha }_2(D{\alpha }_1)$与它们的原始样本有同样的最近邻关系。
根据以上定理，在原始样本和重构样本的损失项上施加一个图约束来保持局部几何结构，得到如下模型：$$mi{n}_{P,Q,Z}\sum _{i=1}^n\sum _{j=1}^n||x_i-P{Q}^{T}X{z}_j|{|}_2^2{w}_{i,j}+{\lambda }_1||Z|{|}_{\ast }+{\lambda }_2||Q|{|}_{2,1},s.t.P^{T}P=I$$其中W表示最近邻图，Z表示LRR矩阵。$P{Q}^{T}X{z}_j$可被视为对原始样本$x_j$的重构样本。