SVM与RVM对比

Sparse Kernel Machine（基于核的具有稀疏解的算法）有两种，一种是Support Vector Machine（支持向量机）即SVM，另一种是Relevance Vector Machine（相关向量机）即RVM。

SVM与RVM的共同特点就是具有稀疏解，从而在对新数据进行预测时只依赖于在训练数据中的一个子集上计算的核函数，这个子集对于SVM来说就是Support Vector（支持向量），而对于RVM来说就是Relevance Vector（相关向量）。

SVM的重要性质是它的模型参数的确定对应一个凸优化的问题，因此许多局部解就是全局最优解。但SVM不提供后验概率，而RVM的重要性质就是，RVM引入了贝叶斯方法，提供后验概率的输出，并且常常能产生更稀疏的解（在测试集上预测时速度更快）。SVM常常需要用交叉验证的方法确定模型复杂度参数C，而对于RVM来说，引入贝叶斯方法的另一个好处就是，省去了模型选择这一步。但RVM由于求矩阵的逆的运算，常常需要更多的训练时间。