计算两个多维数组之间的相关系数

Question

我有两个数组，它们的形状为N X T和M X T。我想计算T每对可能的行之间n和m（分别来自N和M）之间的相关系数。

什么是最快，最Python化的方法？（遍历N，M对我来说似乎既不快速也不是pythonic。）我期望答案涉及numpyand / or
scipy。现在，我的数组是numpy arrays，但是我愿意将它们转换为其他类型。

我期望我的输出是一个带有shape的数组N X M。

注意：当我说“相关系数”时，我指的是皮尔逊积矩相关系数。

以下是一些注意事项：

• 该numpy函数correlate要求输入数组为一维。
• 该numpy函数corrcoef接受二维数组，但它们必须具有相同的形状。
• 该scipy.stats函数pearsonr要求输入数组为一维。

Answer 1

两个2D数组之间的相关性（默认为“有效”大小写）：

您可以np.dot像这样简单地使用矩阵乘法-

out = np.dot(arr_one,arr_two.T)

与"valid"两个输入数组的每个成对行组合（row1，row2）之间的默认情况的关联将对应于每个（row1，row2）位置处的乘法结果。

两个2D数组的行相关系数的计算：

def corr2_coeff(A, B):
    # Rowwise mean of input arrays & subtract from input arrays themeselves
    A_mA = A - A.mean(1)[:, None]
    B_mB = B - B.mean(1)[:, None]

    # Sum of squares across rows
    ssA = (A_mA**2).sum(1)
    ssB = (B_mB**2).sum(1)

    # Finally get corr coeff
    return np.dot(A_mA, B_mB.T) / np.sqrt(np.dot(ssA[:, None],ssB[None]))

这是基于此解决方案 How to apply corr2 functions in Multidimentional arrays in MATLAB

标杆管理

本部分将运行时性能与针对其他答案中列出的基于generate_correlation_map＆循环pearsonr的方法的建议方法进行比较。（取自该函数test_generate_correlation_map()末尾没有值正确性验证代码的函数）。请注意，建议的方法的时间安排还包括在开始时进行检查，以检查两个输入数组中的列数是否相等，就像在其他答案中所做的那样。接下来列出运行时。

情况1：

In [106]: A = np.random.rand(1000, 100)

In [107]: B = np.random.rand(1000, 100)

In [108]: %timeit corr2_coeff(A, B)
100 loops, best of 3: 15 ms per loop

In [109]: %timeit generate_correlation_map(A, B)
100 loops, best of 3: 19.6 ms per loop

情况2：

In [110]: A = np.random.rand(5000, 100)

In [111]: B = np.random.rand(5000, 100)

In [112]: %timeit corr2_coeff(A, B)
1 loops, best of 3: 368 ms per loop

In [113]: %timeit generate_correlation_map(A, B)
1 loops, best of 3: 493 ms per loop

情况3：

In [114]: A = np.random.rand(10000, 10)

In [115]: B = np.random.rand(10000, 10)

In [116]: %timeit corr2_coeff(A, B)
1 loops, best of 3: 1.29 s per loop

In [117]: %timeit generate_correlation_map(A, B)
1 loops, best of 3: 1.83 s per loop

另一种循环pearsonr based方法似乎太慢，但是这里是一个小数据大小的运行时-

In [118]: A = np.random.rand(1000, 100)

In [119]: B = np.random.rand(1000, 100)

In [120]: %timeit corr2_coeff(A, B)
100 loops, best of 3: 15.3 ms per loop

In [121]: %timeit generate_correlation_map(A, B)
100 loops, best of 3: 19.7 ms per loop

In [122]: %timeit pearsonr_based(A, B)
1 loops, best of 3: 33 s per loop