将 Python 序列转换为 NumPy 数组，填充缺失值
Posted
技术标签:
【中文标题】将 Python 序列转换为 NumPy 数组，填充缺失值【英文标题】：Convert Python sequence to NumPy array, filling missing values 【发布时间】：2016-12-01 19:53:57 【问题描述】：可变长度列表的 Python 序列到 NumPy 数组的隐式转换导致数组的类型为 object。
v = [[1], [1, 2]]
np.array(v)
>>> array([[1], [1, 2]], dtype=object)
试图强制另一种类型会导致异常：
np.array(v, dtype=np.int32)
ValueError: setting an array element with a sequence.
通过用给定的占位符填充“缺失”值来获得 int32 类型的密集 NumPy 数组的最有效方法是什么？
从我的示例序列v 中，如果占位符为 0，我想得到类似的东西
array([[1, 0], [1, 2]], dtype=int32)
【问题讨论】：
【参考方案1】：Pandas 及其DataFrame-s 可以很好地处理缺失数据。
import numpy as np
import pandas as pd
v = [[1], [1, 2]]
print(pd.DataFrame(v).fillna(0).values.astype(np.int32))
# array([[1, 0],
# [1, 2]], dtype=int32)
【讨论】：
这对于大小变化较小的数据非常有用，真的是很好的解决方案！【参考方案2】：你可以使用itertools.zip_longest:
import itertools
np.array(list(itertools.zip_longest(*v, fillvalue=0))).T
Out:
array([[1, 0],
[1, 2]])
注意：对于 Python 2，它是 itertools.izip_longest。
【讨论】：
根据大型数据集的快速运行时测试，当列表元素中的大小变化很大时，这似乎非常好。【参考方案3】：max_len = max(len(sub_list) for sub_list in v)
result = np.array([sub_list + [0] * (max_len - len(sub_list)) for sub_list in v])
>>> result
array([[1, 0],
[1, 2]])
>>> type(result)
numpy.ndarray
【讨论】：
【参考方案4】：这是我在其他几篇文章中使用过的一种几乎* 基于矢量化布尔索引的方法 -
def boolean_indexing(v):
lens = np.array([len(item) for item in v])
mask = lens[:,None] > np.arange(lens.max())
out = np.zeros(mask.shape,dtype=int)
out[mask] = np.concatenate(v)
return out
示例运行
In [27]: v
Out[27]: [[1], [1, 2], [3, 6, 7, 8, 9], [4]]
In [28]: out
Out[28]:
array([[1, 0, 0, 0, 0],
[1, 2, 0, 0, 0],
[3, 6, 7, 8, 9],
[4, 0, 0, 0, 0]])
*请注意，这几乎是向量化的，因为这里执行的唯一循环是在开始时，我们正在获取列表元素的长度。但计算要求不高的那部分对总运行时间的影响应该很小。
运行时测试
在本节中，我正在计时 DataFrame-based solution by @Alberto Garcia-Raboso、itertools-based solution by @ayhan，因为它们似乎可以很好地扩展，并且布尔索引基于这篇文章中的一个，用于一个相对较大的数据集，列表元素具有三个级别的大小变化。
案例#1：更大的尺寸变化
In [44]: v = [[1], [1,2,4,8,4],[6,7,3,6,7,8,9,3,6,4,8,3,2,4,5,6,6,8,7,9,3,6,4]]
In [45]: v = v*1000
In [46]: %timeit pd.DataFrame(v).fillna(0).values.astype(np.int32)
100 loops, best of 3: 9.82 ms per loop
In [47]: %timeit np.array(list(itertools.izip_longest(*v, fillvalue=0))).T
100 loops, best of 3: 5.11 ms per loop
In [48]: %timeit boolean_indexing(v)
100 loops, best of 3: 6.88 ms per loop
案例#2：较小的尺寸变化
In [49]: v = [[1], [1,2,4,8,4],[6,7,3,6,7,8]]
In [50]: v = v*1000
In [51]: %timeit pd.DataFrame(v).fillna(0).values.astype(np.int32)
100 loops, best of 3: 3.12 ms per loop
In [52]: %timeit np.array(list(itertools.izip_longest(*v, fillvalue=0))).T
1000 loops, best of 3: 1.55 ms per loop
In [53]: %timeit boolean_indexing(v)
100 loops, best of 3: 5 ms per loop
案例 #3：每个列表元素的元素数量更多（最多 100 个）
In [139]: # Setup inputs
...: N = 10000 # Number of elems in list
...: maxn = 100 # Max. size of a list element
...: lens = np.random.randint(0,maxn,(N))
...: v = [list(np.random.randint(0,9,(L))) for L in lens]
...:
In [140]: %timeit pd.DataFrame(v).fillna(0).values.astype(np.int32)
1 loops, best of 3: 292 ms per loop
In [141]: %timeit np.array(list(itertools.izip_longest(*v, fillvalue=0))).T
1 loops, best of 3: 264 ms per loop
In [142]: %timeit boolean_indexing(v)
10 loops, best of 3: 95.7 ms per loop
在我看来，itertools.izip_longest 做得很好！
【讨论】：
@ayhan 嗯不能在我的 Python 2 版本上运行它。会不会是我的 NumPy 版本 1.11.1？ 我猜所有的方法都在迭代v，但是随着 v 中的列表越来越大，你的方法开始变得更快。我用 n=10^3, m=10^4 试了一下，速度快了 5 倍。我在 Python 3 中有 1.11.1，但结果与 Python 2.7 numpy 1.10.4 非常相似
@ayhan 感谢反馈和诚实！ ;) 为此添加了另一个案例:)【参考方案5】：
这是一个通用的方法：
>>> v = [[1], [2, 3, 4], [5, 6], [7, 8, 9, 10], [11, 12]]
>>> max_len = np.argmax(v)
>>> np.hstack(np.insert(v, range(1, len(v)+1),[[0]*(max_len-len(i)) for i in v])).astype('int32').reshape(len(v), max_len)
array([[ 1, 0, 0, 0],
[ 2, 3, 4, 0],
[ 5, 6, 0, 0],
[ 7, 8, 9, 10],
[11, 12, 0, 0]], dtype=int32)
【讨论】：
【参考方案6】：您可以先尝试转换 pandas 数据帧，然后再转换为 numpy 数组
ll = [[1, 2, 3], [4, 5], [6, 7, 8, 9]]
df = pd.DataFrame(ll)
print(df)
# 0 1 2 3
# 0 1 2 3.0 NaN
# 1 4 5 NaN NaN
# 2 6 7 8.0 9.0
npl = df.to_numpy()
print(npl)
# [[ 1. 2. 3. nan]
# [ 4. 5. nan nan]
# [ 6. 7. 8. 9.]]
【讨论】：
【参考方案7】：我在 Alexander 的回答中遇到了一个 numpy 广播错误，所以我添加了一个小的变化 numpy.pad:
pad = len(max(X, key=len))
result = np.array([np.pad(i, (0, pad-len(i)), 'constant') for i in X])
【讨论】：
【参考方案8】：如果您想将相同的逻辑扩展到更深层次（列表列表的列表，..），您可以使用 tensorflow 不规则张量并转换为张量/数组。例如：
import tensorflow as tf
v = [[1], [1, 2]]
padded_v = tf.ragged.constant(v).to_tensor(0)
这将创建一个用 0 填充的数组。 或更深层次的例子：
w = [[[1]], [[2],[1, 2]]]
padded_w = tf.ragged.constant(w).to_tensor(0)
【讨论】：
以上是关于将 Python 序列转换为 NumPy 数组，填充缺失值的主要内容，如果未能解决你的问题，请参考以下文章
Python + alglib + NumPy：如何避免将数组转换为列表？