Python / numpy:对数组的n个元素求和的最有效方法,以便每个输出元素是前n个输入元素的总和?
Posted
技术标签:
【中文标题】Python / numpy:对数组的n个元素求和的最有效方法,以便每个输出元素是前n个输入元素的总和?【英文标题】:Python/numpy: Most efficient way to sum n elements of an array, so that each output element is the sum of the previous n input elements? 【发布时间】:2016-04-04 20:57:35 【问题描述】:我想编写一个函数,它将一个扁平数组作为输入,并返回一个长度相等的数组,其中包含输入数组中前 n 个元素的总和,输出数组的初始 n - 1
元素设置为 @ 987654323@.
例如,如果数组有十个elements = [2, 4, 3, 7, 6, 1, 9, 4, 6, 5]
和n = 3
,那么结果数组应该是[NaN, NaN, 9, 14, 16, 14, 16, 14, 19, 15]
。
我想出的一种方法:
def sum_n_values(flat_array, n):
sums = np.full(flat_array.shape, np.NaN)
for i in range(n - 1, flat_array.shape[0]):
sums[i] = np.sum(flat_array[i - n + 1:i + 1])
return sums
有没有更好/更有效/更“Pythonic”的方法来做到这一点?
提前感谢您的帮助。
【问题讨论】:
今天的帖子可能重复:***.com/questions/34524808/… 准确度怎么样?试试 [1e20,1,-1e20,-1] 和 n=3 @DanielSanchez 这个问题是关于一种非常不同类型的循环计算。这相当于执行一维卷积。 【参考方案1】:您可以使用np.cumsum
,并获取cumsum
ed 数组和它的移位版本的差异:
n = 3
arr = np.array([2, 4, 3, 7, 6, 1, 9, 4, 6, 5])
sum_arr = arr.cumsum()
shifted_sum_arr = np.concatenate([[np.NaN]*(n-1), [0], sum_arr[:-n]])
sum_arr
=> array([ 2, 6, 9, 16, 22, 23, 32, 36, 42, 47])
shifted_sum_arr
=> array([ nan, nan, 0., 2., 6., 9., 16., 22., 23., 32.])
sum_arr - shifted_sum_arr
=> array([ nan, nan, 9., 14., 16., 14., 16., 14., 19., 15.])
IMO,这是一种更 numpyish 的方法,主要是因为它避免了循环。
时间
def cumsum_app(flat_array, n):
sum_arr = flat_array.cumsum()
shifted_sum_arr = np.concatenate([[np.NaN]*(n-1), [0], sum_arr[:-n]])
return sum_arr - shifted_sum_arr
flat_array = np.random.randint(0,9,(100000))
%timeit cumsum_app(flat_array,10)
1000 loops, best of 3: 985 us per loop
%timeit cumsum_app(flat_array,100)
1000 loops, best of 3: 963 us per loop
【讨论】:
【参考方案2】:你基本上在那里表演1D convolution
,所以你可以使用np.convolve
,像这样-
# Get the valid sliding summations with 1D convolution
vals = np.convolve(flat_array,np.ones(n),mode='valid')
# Pad with NaNs at the start if needed
out = np.pad(vals,(n-1,0),'constant',constant_values=(np.nan))
示例运行 -
In [110]: flat_array
Out[110]: array([2, 4, 3, 7, 6, 1, 9, 4, 6, 5])
In [111]: n = 3
In [112]: vals = np.convolve(flat_array,np.ones(n),mode='valid')
...: out = np.pad(vals,(n-1,0),'constant',constant_values=(np.nan))
...:
In [113]: vals
Out[113]: array([ 9., 14., 16., 14., 16., 14., 19., 15.])
In [114]: out
Out[114]: array([ nan, nan, 9., 14., 16., 14., 16., 14., 19., 15.])
对于一维卷积,也可以使用Scipy's implementation
。 Scipy 版本的运行时似乎更适合大窗口大小,接下来列出的运行时测试也会尝试调查。获取vals
的 Scipy 版本是 -
from scipy import signal
vals = signal.convolve(flat_array,np.ones(n),mode='valid')
NaNs
填充操作可以替换为 np.hstack
: np.hstack(([np.nan]*(n-1),vals))
以获得更好的性能。
运行时测试 -
In [238]: def original_app(flat_array,n):
...: sums = np.full(flat_array.shape, np.NaN)
...: for i in range(n - 1, flat_array.shape[0]):
...: sums[i] = np.sum(flat_array[i - n + 1:i + 1])
...: return sums
...:
...: def vectorized_app1(flat_array,n):
...: vals = np.convolve(flat_array,np.ones(n),mode='valid')
...: return np.hstack(([np.nan]*(n-1),vals))
...:
...: def vectorized_app2(flat_array,n):
...: vals = signal.convolve(flat_array,np.ones(3),mode='valid')
...: return np.hstack(([np.nan]*(n-1),vals))
...:
In [239]: flat_array = np.random.randint(0,9,(100000))
In [240]: %timeit original_app(flat_array,10)
1 loops, best of 3: 833 ms per loop
In [241]: %timeit vectorized_app1(flat_array,10)
1000 loops, best of 3: 1.96 ms per loop
In [242]: %timeit vectorized_app2(flat_array,10)
100 loops, best of 3: 13.1 ms per loop
In [243]: %timeit original_app(flat_array,100)
1 loops, best of 3: 836 ms per loop
In [244]: %timeit vectorized_app1(flat_array,100)
100 loops, best of 3: 16.5 ms per loop
In [245]: %timeit vectorized_app2(flat_array,100)
100 loops, best of 3: 13.1 ms per loop
【讨论】:
【参考方案3】:这里的其他答案可能在速度和内存方面更接近您所寻找的,但为了完整起见,您还可以使用列表推导来构建您的数组:
a = np.array([2, 4, 3, 7, 6, 1, 9, 4, 6, 5])
N, n = a.shape[0], 3
np.array([np.NaN]*(n-1) + [np.sum(a[j:j+n]) for j in range(N-n+1)])
返回:
array([ nan, nan, 9., 14., 16., 14., 16., 14., 19., 15.])
【讨论】:
以上是关于Python / numpy:对数组的n个元素求和的最有效方法,以便每个输出元素是前n个输入元素的总和?的主要内容,如果未能解决你的问题,请参考以下文章