Numpy在计算标准化马氏距离时声明该无效值

Question

这是我在数据挖掘课上的家庭作业。

我将把相关的代码片段放在这篇文章中，但是你可以在http://pastebin.com/CzNFbLJ2

我用于此程序的数据集可以在以下位置找到：http://archive.ics.uci.edu/ml/datasets/Iris

所以我得到：运行时间警告：在sqrt返回np.sqrt（m）中遇到无效值

我试图找到给定iris数据集的平均马氏距离（对于原始数据集和规范化数据集）。这个错误只发生在数据集的规范化版本上，这让我怀疑我是否错误地理解了规范化的含义（在代码和数学上）。

我认为规范化意味着向量的每个分量都被它的向量长度所除（使向量加起来等于1）。我发现这样一个问题：如何在python中规范化一个不太冗长的二维numpy数组？认为这符合我的正常化理念。但现在，我的代码报告，规范化数据集上的马氏距离为NAN

def mahalanobis(data):
   import numpy as np;
   import scipy.spatial.distance;
   avg   = 0
   count = 0

   covar = np.cov(data, rowvar=0);
   invcovar = np.linalg.inv(covar)

   for i in range(len(data)):
      for j in range(i + 1, len(data)):
         if(j == len(data)):
            break
         avg += scipy.spatial.distance.mahalanobis(data[i], data[j], invcovar)
         count += 1
   return avg / count


def normalize(data):
   import numpy as np
   row_sums = data.sum(axis=1)
   norm_data = np.zeros((50, 4))
   for i, (row, row_sum) in enumerate(zip(data, row_sums)):
      norm_data[i,:] = row / row_sum
   return norm_data

Answer 1

在这种情况下，规范化可能意味着减去均值和缩放，因此数据具有单位协方差矩阵。

但是，要将数据集中的每个向量缩放到单位范数，请使用：norm\u data=data/np。sqrt（np.sum（data*data，1））[：，无]。

您需要除以每个向量的L2范数，这意味着对每个元素的值进行平方，然后求和的平方根。广播允许您避免显式编码循环（参见您引用的问题的答案：https://stackoverflow.com/a/8904762/1149913）。

Answer 2

您可以使用pdist（）在不使用for循环的情况下进行距离计算：

from sklearn import datasets
iris = datasets.load_iris()
from scipy.spatial.distance import pdist, squareform
print squareform(pdist(iris.data, 'mahalanobis'))

Answer 3

可能太晚了，但请查看我们的教科书“数据挖掘导论”第64-65页。有一节叫做“规范化或标准化”，它解释了Hearne正在寻找的规范化数据的概念。

基本上，标准化数据集x'=（x-平均值（x））/标准偏差（x）

既然我看到您正在使用python，下面介绍如何使用SciPy：

normalizedData = (data - data.mean(axis=0)) / data.std(axis=0, ddof=1)

来源：http://mail.scipy.org/pipermail/numpy-discussion/2011-April/056023.html