从NumPy 2D数组中删除重复的列和行

Question

我正在使用2D形状数组存储经度和纬度对。一方面，我必须合并两个2D数组，然后删除所有重复的条目。我一直在寻找类似于numpy.unique的函数，但是我没有运气。我一直在考虑的任何实现都看起来“没有优化”。例如，我正在尝试将数组转换为元组列表，使用set删除重复项，然后再次转换为数组：

coordskeys = np.array(list(set([tuple(x) for x in coordskeys])))

是否有任何现有的解决方案，所以我不会重新发明轮子吗？

为了清楚起见，我在寻找：

>>> a = np.array([[1, 1], [2, 3], [1, 1], [5, 4], [2, 3]])
>>> unique_rows(a)
array([[1, 1], [2, 3],[5, 4]])

顺便说一句，我只想使用一个元组列表，但是列表太大了，以至于它们消耗了我的4Gb RAM + 4Gb交换（numpy阵列的内存效率更高）。

Answer 1

这是一个主意，需要一些工作，但可能会很快。我将给您一维的情况，让您找出如何将其扩展到二维的情况。以下函数查找一维数组的唯一元素：

import numpy as np
def unique(a):
    a = np.sort(a)
    b = np.diff(a)
    b = np.r_[1, b]
    return a[b != 0]

现在要将其扩展到2d，您需要更改两件事。您将需要弄清楚自己如何进行排序，关于排序的重要事项是两个相同的条目彼此相邻。其次，您需要执行类似的操作，(b != 0).all(axis)因为您要比较整个行/列。让我知道这是否足以让您入门。

更新：在道格的一些帮助下，我认为这应该适用于二维情况。

import numpy as np
def unique(a):
    order = np.lexsort(a.T)
    a = a[order]
    diff = np.diff(a, axis=0)
    ui = np.ones(len(a), 'bool')
    ui[1:] = (diff != 0).any(axis=1) 
    return a[ui]