检查两个numpy阵列是否相同

Question

假设我有一组数组，包括x和y，我想检查它们是否相等。一般来说，我可以只使用np.all（x==y）（除了一些我现在忽略的愚蠢的情况）。

但是，这会计算（x==y）的整个数组，这通常是不需要的。我的数组非常大，而且我有很多数组，两个数组相等的概率很小，所以很可能，在all函数返回False之前，我只需要计算（x==y）的一小部分，所以这对我来说不是一个最佳解决方案。

我尝试使用内置的all函数，并结合itertools.izip：all（val1==val2 for val1，val2 initertools.izip（x，y））

然而，在两个数组相等的情况下，这似乎要慢得多，总的来说，它仍然不值得在np.all上使用。我假设是因为内置的所有代码的通用性。并且np.all对生成器不起作用。

有没有办法更快地完成我想要的事情？

我知道这个问题类似于之前提出的问题（例如，在元素方面比较两个numpy数组是否相等），但它们具体不包括提前终止的情况。

Answer 1

嗯，我知道这是一个糟糕的答案，但似乎没有简单的方法。Numpy创作者应该修复它。我建议：

def compare(a, b):
    if len(a) > 0 and not np.array_equal(a[0], b[0]):
        return False
    if len(a) > 15 and not np.array_equal(a[:15], b[:15]):
        return False
    if len(a) > 200 and not np.array_equal(a[:200], b[:200]):
        return False
    return np.array_equal(a, b)

：）

Answer 2

在github上的numpy页面上显然正在讨论向数组比较添加短路逻辑，因此，在未来版本的numpy中可能会提供这种功能。

Answer 3

在numpy本机实现之前，您可以编写自己的函数并使用numba jit编译它：

import numpy as np
import numba as nb


@nb.jit(nopython=True)
def arrays_equal(a, b):
    if a.shape != b.shape:
        return False
    for ai, bi in zip(a.flat, b.flat):
        if ai != bi:
            return False
    return True


a = np.random.rand(10, 20, 30)
b = np.random.rand(10, 20, 30)


%timeit np.all(a==b)  # 100000 loops, best of 3: 9.82 µs per loop
%timeit arrays_equal(a, a)  # 100000 loops, best of 3: 9.89 µs per loop
%timeit arrays_equal(a, b)  # 100000 loops, best of 3: 691 ns per loop

最坏情况下的性能（数组相等）相当于np.all，并且在提前停止编译函数的情况下，可能会比np.all好很多。