将 numpy.array 存储在 Pandas.DataFrame 的单元格中

Posted 2023-02-23

【中文标题】将 numpy.array 存储在 Pandas.DataFrame 的单元格中

【英文标题】：Store numpy.array in cells of a Pandas.DataFrame

【发布时间】：2018-01-14 20:23:00

【问题描述】：

我有一个数据框，我想在其中存储“原始”numpy.array：

df['COL_ARRAY'] = df.apply(lambda r: np.array(do_something_with_r), axis=1)

但似乎pandas 试图“解包” numpy.array。

有解决方法吗？除了使用包装器（见下面的编辑）？

我尝试了reduce=False，但没有成功。

编辑

这行得通，但我必须使用'dummy'Data 类来环绕数组，这不能令人满意并且不是很优雅。

class Data:
    def __init__(self, v):
        self.v = v

meas = pd.read_excel(DATA_FILE)
meas['DATA'] = meas.apply(
    lambda r: Data(np.array(pd.read_csv(r['filename'])))),
    axis=1
)

【参考方案1】：

在 numpy 数组周围使用包装器，即将 numpy 数组作为列表传递

a = np.array([5, 6, 7, 8])
df = pd.DataFrame("a": [a])

输出：

一种 0 [5, 6, 7, 8]

或者你可以通过创建元组来使用apply(np.array)，即如果你有一个数据框

df = pd.DataFrame('id': [1, 2, 3, 4],
                   'a': ['on', 'on', 'off', 'off'],
                   'b': ['on', 'off', 'on', 'off'])

df['new'] = df.apply(lambda r: tuple(r), axis=1).apply(np.array)

输出：

一份新的 0 开 1 [开，开，1] 1 开 2 [开、关、2] 2 关 3 [关、开、3] 3 关 4 [关、关、4]

df['new'][0]

输出：

array(['on', 'on', '1'], dtype='<U2')

【讨论】：

可行，但我宁愿使用虚拟类而不是列表。

如果你用tuple(r) 代替np.array([[1,2],[3,4]]) 那样做，那行得通吗，即。一个二维数组？

tuple(r) 也适用于二维数组。您的意思是用 2D np.array 替换 tuple(r) 吗？

是的。我的意思是，我了解您的解决方案，并且它有效，但是如果我想在 new 列中有一个二维 np.array（而不是如图所示的一维数组）怎么办？

你能在你的问题中添加预期的输出吗？如果要创建一个新的二维数组，行中的所有元素都应该是 numpy 数组。我的解决方案在这种情况下有效。如果是混合类型，则必须先使用 if else 使其成为 numpy 数组。

【参考方案2】：

如果您首先将列设置为object 类型，则可以插入不带任何包装的数组：

df = pd.DataFrame(columns=[1])
df[1] = df[1].astype(object)
df.loc[1, 1] = np.array([5, 6, 7, 8])
df

输出：

    1
1   [5, 6, 7, 8]

【参考方案3】：

您可以将数据框数据 args 括在方括号中，以维护每个单元格中的 np.array：

one_d_array = np.array([1,2,3])
two_d_array = one_d_array*one_d_array[:,np.newaxis]
two_d_array

array([[1, 2, 3],
       [2, 4, 6],
       [3, 6, 9]])


pd.DataFrame([
    [one_d_array],
    [two_d_array] ])

                                   0
0                          [1, 2, 3]
1  [[1, 2, 3], [2, 4, 6], [3, 6, 9]]

【讨论】：

那些变成lists 没有？

@javadba 我将上面的输出设置为df 并看到print(type(df.iloc[0,0])) --> 这是 Pandas 0.23.0。您看到其他版本有什么不同吗？

您实际上是正确的——其中一个被高度评价的答案听起来像是 ndarray 将被转换为一个列表。我刚刚测试了这个。 without 括号我们得到rows 在df 和with 括号我们得到ndarrays 如你所说

【参考方案4】：

假设您有一个 DataFrame ds，它有一个名为“类”的列。如果ds['class'] 包含字符串或数字，并且您想用numpy.ndarrays 或lists 更改它们，以下代码会有所帮助。在代码中，class2vector 是 numpy.ndarray 或 list，ds_class 是过滤条件。

ds['class'] = ds['class'].map(lambda x: class2vector if (isinstance(x, str) and (x == ds_class)) else x)

【参考方案5】：

只需通过第一个 apply 将要存储在单元格中的内容包装到 list 对象中，然后通过 index 0 中的 list 到第二个 apply 提取它：

import pandas as pd
import numpy as np

df = pd.DataFrame('id': [1, 2, 3, 4],
                   'a': ['on', 'on', 'off', 'off'],
                   'b': ['on', 'off', 'on', 'off'])


df['new'] = df.apply(lambda x: [np.array(x)], axis=1).apply(lambda x: x[0])

df

输出：

    id  a       b       new
0   1   on      on      [1, on, on]
1   2   on      off     [2, on, off]
2   3   off     on      [3, off, on]
3   4   off     off     [4, off, off]

【参考方案6】：

选择 eval 内置函数易于使用且易于阅读。

# First ensure use object store str
df['col2'] = self.df['col2'].astype(object)
# read
arr_obj = eval(df.at[df[df.col_1=='xyz'].index[0], 'col2']))
# write
df.at[df[df.col_1=='xyz'].index[0], 'col2'] = str(arr_obj)

真实商店展示完美的人类可读价值：

col_1,  col_2
xyz,    "['aaa', 'bbb', 'ccc', 'ddd']"