按元素比较两个 NumPy 数组的相等性
Posted
技术标签:
【中文标题】按元素比较两个 NumPy 数组的相等性【英文标题】:Comparing two NumPy arrays for equality, element-wise 【发布时间】:2012-05-21 18:44:15 【问题描述】:比较两个 NumPy 数组是否相等(其中相等定义为:A = B iff 对于所有索引 i:A[i] == B[i]
)的最简单方法是什么?
只需使用==
就可以得到一个布尔数组:
>>> numpy.array([1,1,1]) == numpy.array([1,1,1])
array([ True, True, True], dtype=bool)
我必须and
这个数组的元素来确定数组是否相等,还是有更简单的比较方法?
【问题讨论】:
【参考方案1】:(A==B).all()
测试数组 (A==B) 的所有值是否为真。
注意:也许你也想测试A和B形状,比如A.shape == B.shape
特殊情况和替代方案(来自 dbaupp 的回答和 yoavram 的评论)
需要注意的是:
此解决方案在特定情况下可能会出现奇怪的行为:如果A
或B
为空且另一个包含单个元素,则返回True
。出于某种原因,比较 A==B
返回一个空数组,all
运算符返回True
。
另一个风险是,如果 A
和 B
的形状不同且不可广播,那么这种方法会引发错误。
总之,如果您对 A
和 B
形状有疑问,或者只是为了安全起见:请使用其中一种特殊功能:
np.array_equal(A,B) # test if same shape, same elements values
np.array_equiv(A,B) # test if broadcastable shape, same elements values
np.allclose(A,B,...) # test if same shape, elements have close enough values
【讨论】:
你几乎总是想要np.array_equal
IME。 (A==B).all()
如果 A 和 B 的长度不同会崩溃。从 numpy 1.10 开始,== raises a deprecation warning in this case.
你的观点很好,但如果我对形状有疑问,我通常更喜欢在值之前直接测试它。那么错误显然是在具有完全不同含义而不是具有不同值的形状上。但这可能取决于每个用例
另一个风险是数组是否包含 nan。在这种情况下,您将得到 False 因为 nan != nan
很高兴指出这一点。但是,我认为这是合乎逻辑的,因为nan!=nan
暗示array(nan)!=array(nan)
。
我不理解这种行为:import numpy as np
H = 1/np.sqrt(2)*np.array([[1, 1], [1, -1]]) #hadamard matrix
np.array_equal(H.dot(H.T.conj()), np.eye(len(H))) # checking if H is an unitary matrix or not
H 是酉矩阵,所以 H x H.T.conj
是单位矩阵。但是np.array_equal
返回 False【参考方案2】:
(A==B).all()
解决方案非常简洁,但是有一些内置函数可以完成这项任务。即array_equal
、allclose
和array_equiv
。
(尽管对timeit
进行的一些快速测试似乎表明(A==B).all()
方法是最快的,这有点奇怪,因为它必须分配一个全新的数组。)
【讨论】:
你是对的,但如果比较的数组之一为空,你会得到(A==B).all()
的错误答案。例如,尝试:(np.array([1])==np.array([])).all()
,它给出True
,而np.array_equal(np.array([1]), np.array([]))
给出False
我也刚刚发现了这种性能差异。这很奇怪,因为如果你有 2 个完全不同的数组,(a==b).all()
仍然比 np.array_equal(a, b)
快(它可能只检查了一个元素并退出)。
np.array_equal
也适用于lists of arrays
和dicts of arrays
。这可能是性能变慢的原因。
非常感谢allclose
函数,这是我进行numerical 计算所需要的。它比较 tolerance 内向量的相等性。 :)
请注意np.array_equiv([1,1,1], 1) is True
。这是因为:形状一致意味着它们要么是相同的形状,要么可以广播一个输入数组以创建与另一个相同的形状。【参考方案3】:
让我们使用以下代码来衡量性能。
import numpy as np
import time
exec_time0 = []
exec_time1 = []
exec_time2 = []
sizeOfArray = 5000
numOfIterations = 200
for i in xrange(numOfIterations):
A = np.random.randint(0,255,(sizeOfArray,sizeOfArray))
B = np.random.randint(0,255,(sizeOfArray,sizeOfArray))
a = time.clock()
res = (A==B).all()
b = time.clock()
exec_time0.append( b - a )
a = time.clock()
res = np.array_equal(A,B)
b = time.clock()
exec_time1.append( b - a )
a = time.clock()
res = np.array_equiv(A,B)
b = time.clock()
exec_time2.append( b - a )
print 'Method: (A==B).all(), ', np.mean(exec_time0)
print 'Method: np.array_equal(A,B),', np.mean(exec_time1)
print 'Method: np.array_equiv(A,B),', np.mean(exec_time2)
输出
Method: (A==B).all(), 0.03031857
Method: np.array_equal(A,B), 0.030025185
Method: np.array_equiv(A,B), 0.030141515
根据上面的结果,numpy 方法似乎比 == 运算符和 all() 方法的组合更快,并且通过比较 numpy 方法最快的似乎是 numpy.array_equal 方法。
【讨论】:
您应该使用更大的数组大小,至少需要一秒钟的时间来编译以提高实验的准确性。 当比较顺序改变时,这是否也会重现?还是每次都重新初始化A和B?这种差异也可以通过 A 和 B 单元的内存缓存来解释。 这些时间之间没有有意义的区别。【参考方案4】:如果您想检查两个数组是否具有相同的shape
AND elements
,您应该使用np.array_equal
,因为这是文档中推荐的方法。
在性能方面不要期望任何相等性检查会胜过另一个,因为没有太多空间可以优化
comparing two elements
。只是为了着想,我还是做了一些测试。
import numpy as np
import timeit
A = np.zeros((300, 300, 3))
B = np.zeros((300, 300, 3))
C = np.ones((300, 300, 3))
timeit.timeit(stmt='(A==B).all()', setup='from __main__ import A, B', number=10**5)
timeit.timeit(stmt='np.array_equal(A, B)', setup='from __main__ import A, B, np', number=10**5)
timeit.timeit(stmt='np.array_equiv(A, B)', setup='from __main__ import A, B, np', number=10**5)
> 51.5094
> 52.555
> 52.761
几乎相等,无需谈论速度。
(A==B).all()
的行为与以下代码 sn-p 非常相似:
x = [1,2,3]
y = [1,2,3]
print all([x[i]==y[i] for i in range(len(x))])
> True
【讨论】:
【参考方案5】:通常两个数组会有一些小的数值误差,
您可以使用numpy.allclose(A,B)
,而不是(A==B).all()
。这将返回一个布尔 True/False
【讨论】:
【参考方案6】:现在使用np.array_equal
。来自文档:
np.array_equal([1, 2], [1, 2])
True
np.array_equal(np.array([1, 2]), np.array([1, 2]))
True
np.array_equal([1, 2], [1, 2, 3])
False
np.array_equal([1, 2], [1, 4])
False
【讨论】:
np.array_equal
文档链接:numpy.org/doc/stable/reference/generated/numpy.array_equal.html【参考方案7】:
在其他答案之上,您现在可以使用断言:
numpy.testing.assert_array_equal(x, y)
你也有类似的功能如numpy.testing.assert_almost_equal()
https://numpy.org/doc/stable/reference/generated/numpy.testing.assert_array_equal.html
【讨论】:
以上是关于按元素比较两个 NumPy 数组的相等性的主要内容,如果未能解决你的问题,请参考以下文章