SciPy KDE梯度

Question

我使用的是内核密度估计(KDE)的SciPy实现(http://docs.SciPy.org/doc/SciPy/reference/generated/SciPy.stats.gaussian_kde.html)，到目前为止工作良好。然而，我现在想要获得KDE在一个特定点的梯度。

我已经查看了库的Python源代码，但还没有弄清楚如何轻松实现这个功能。有人知道这样做的方法吗？

Answer 1

如果您查看您引用的源代码，您将看到密度估计是根据数据集中所有点的贡献构建的，假设您目前只需要评估一个点point[:,i]（第219-222行）：

diff = self.dataset - points[:, i, newaxis]
tdiff = dot(self.inv_cov, diff)
energy = sum(diff * tdiff, axis=0) / 2.0
result[i] = sum(exp(-energy), axis=0)

在矩阵表示法中（没有可用的LaTeX？），将对数据集中的单个点D和点P进行编写，以求值为

d = D - p
t = Cov^-1 d
e = 1/2 d^T t
r = exp(-e)

您要查找的梯度为grad(r)=(dr/dx,dr/dy):

dr/dx = d(exp(-e))/dx 
      = -de/dx exp(-e)
      = -d(1/2 d^T Cov^-1 d)/dx exp(-e)
      = -(Cov^-1 d) exp(-e)

对于dr/dy也是如此。因此，您所需要做的就是计算项cov^-1d并将其与您已经得到的结果相乘。

result = zeros((self.d,m), dtype=float)    
[...]
diff = self.dataset - points[:, i, newaxis]
tdiff = dot(self.inv_cov, diff)
energy = sum(diff * tdiff, axis=0) / 2.0
grad = dot(self.inv_cov, diff)
result[:,i] = sum(grad * exp(-energy), axis=1)

由于某种原因，在计算grad时，我需要删除-1以获得与在p和p+delta四个方向上评估密度估计一致的结果，这是一个我在这里当然可能会偏离的标志。