如何处理 Pandas 中的 SettingWithCopyWarning

Posted

技术标签:

【中文标题】如何处理 Pandas 中的 SettingWithCopyWarning【英文标题】:How to deal with SettingWithCopyWarning in Pandas 【发布时间】:2014-01-04 17:01:16 【问题描述】:

背景

我刚刚将我的 Pandas 从 0.11 升级到 0.13.0rc1。现在,该应用程序弹出了许多新的警告。其中一个是这样的:

E:\FinReporter\FM_EXT.py:449: SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_index,col_indexer] = value instead
  quote_df['TVol']   = quote_df['TVol']/TVOL_SCALE

我想知道它到底是什么意思?我需要改变什么吗?

如果我坚持使用quote_df['TVol'] = quote_df['TVol']/TVOL_SCALE,我应该如何暂停警告?

产生错误的函数

def _decode_stock_quote(list_of_150_stk_str):
    """decode the webpage and return dataframe"""

    from cStringIO import StringIO

    str_of_all = "".join(list_of_150_stk_str)

    quote_df = pd.read_csv(StringIO(str_of_all), sep=',', names=list('ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefg')) #dtype='A': object, 'B': object, 'C': np.float64
    quote_df.rename(columns='A':'STK', 'B':'TOpen', 'C':'TPCLOSE', 'D':'TPrice', 'E':'THigh', 'F':'TLow', 'I':'TVol', 'J':'TAmt', 'e':'TDate', 'f':'TTime', inplace=True)
    quote_df = quote_df.ix[:,[0,3,2,1,4,5,8,9,30,31]]
    quote_df['TClose'] = quote_df['TPrice']
    quote_df['RT']     = 100 * (quote_df['TPrice']/quote_df['TPCLOSE'] - 1)
    quote_df['TVol']   = quote_df['TVol']/TVOL_SCALE
    quote_df['TAmt']   = quote_df['TAmt']/TAMT_SCALE
    quote_df['STK_ID'] = quote_df['STK'].str.slice(13,19)
    quote_df['STK_Name'] = quote_df['STK'].str.slice(21,30)#.decode('gb2312')
    quote_df['TDate']  = quote_df.TDate.map(lambda x: x[0:4]+x[5:7]+x[8:10])
    
    return quote_df

更多错误信息

E:\FinReporter\FM_EXT.py:449: SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_index,col_indexer] = value instead
  quote_df['TVol']   = quote_df['TVol']/TVOL_SCALE
E:\FinReporter\FM_EXT.py:450: SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_index,col_indexer] = value instead
  quote_df['TAmt']   = quote_df['TAmt']/TAMT_SCALE
E:\FinReporter\FM_EXT.py:453: SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_index,col_indexer] = value instead
  quote_df['TDate']  = quote_df.TDate.map(lambda x: x[0:4]+x[5:7]+x[8:10])

【问题讨论】:

这里有一个上下文管理器来临时设置警告级别gist.github.com/notbanker/2be3ed34539c86e22ffdd88fd95ad8bc pandas.pydata.org/pandas-docs/stable/…官方文档详解 @leonprou df.set_value 已被弃用。 Pandas 现在建议改用.at[].iat[]。文档在这里pandas.pydata.org/pandas-docs/stable/generated/… 使用df.loc[:, foo] 避免SettingWithCopyWarning,而df[foo] 导致SettingWithCopyWarning 这能回答你的问题吗? Set value for particular cell in pandas DataFrame using index 【参考方案1】:

如何在 Pandas 中处理SettingWithCopyWarning

这篇文章是为那些,

    想了解此警告的含义 希望了解抑制此警告的不同方法 想了解如何改进他们的代码并遵循良好做法以避免将来出现此警告。

设置

np.random.seed(0)
df = pd.DataFrame(np.random.choice(10, (3, 5)), columns=list('ABCDE'))
df
   A  B  C  D  E
0  5  0  3  3  7
1  9  3  5  2  4
2  7  6  8  8  1

SettingWithCopyWarning 是什么?

要知道如何处理这个警告,首先要了解它的含义以及为什么会出现它。

过滤 DataFrame 时,可以对帧进行切片/索引以返回 viewcopy,具体取决于内部布局和各种实现细节。正如术语所暗示的,“视图”是对原始数据的视图,因此修改视图可能会修改原始对象。另一方面,“副本”是对原始数据的复制,修改副本对原始数据没有影响。

正如其他答案所述,创建 SettingWithCopyWarning 是为了标记“链式分配”操作。在上面的设置中考虑df。假设您想选择“B”列中的所有值,其中“A”列中的值大于 5。Pandas 允许您以不同的方式执行此操作,其中一些方式比其他方式更正确。例如,

df[df.A > 5]['B']
 
1    3
2    6
Name: B, dtype: int64

还有,

df.loc[df.A > 5, 'B']

1    3
2    6
Name: B, dtype: int64

这些返回相同的结果,因此如果您只读取这些值,则没有区别。那么,问题是什么?链式赋值的问题在于,通常很难预测返回的是视图还是副本,因此当您尝试将值重新赋值时,这很大程度上会成为一个问题。例如,考虑一下解释器如何执行这段代码:

df.loc[df.A > 5, 'B'] = 4
# becomes
df.__setitem__((df.A > 5, 'B'), 4)

通过单个__setitem__ 调用df。 OTOH,请考虑以下代码:

df[df.A > 5]['B'] = 4
# becomes
df.__getitem__(df.A > 5).__setitem__('B', 4)

现在,根据 __getitem__ 是返回视图还是副本,__setitem__ 操作可能不起作用

一般来说,您应该使用loc 进行基于标签的分配,使用iloc 进行基于整数/位置的分配,因为规范保证它们始终在原始值上运行。此外,对于设置单个单元格,您应该使用atiat

更多信息请见documentation。

注意 使用loc 完成的所有布尔索引操作也可以使用iloc 完成。唯一的区别是 iloc 期望要么 索引的整数/位置或布尔值的numpy数组,以及 列的整数/位置索引。

例如,

df.loc[df.A > 5, 'B'] = 4

可以写成nas

df.iloc[(df.A > 5).values, 1] = 4

还有,

df.loc[1, 'A'] = 100

可以写成

df.iloc[1, 0] = 100

等等。


告诉我如何取消警告!

考虑对df 的“A”列进行简单操作。选择“A”并除以 2 会引发警告,但该操作会起作用。

df2 = df[['A']]
df2['A'] /= 2
/Library/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/IPython/__main__.py:1: SettingWithCopyWarning: 
A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_indexer,col_indexer] = value instead

df2
     A
0  2.5
1  4.5
2  3.5

有几种方法可以直接消除此警告:

    (推荐)使用loc 对子集进行切片

     df2 = df.loc[:, ['A']]
     df2['A'] /= 2     # Does not raise 
    

    更改pd.options.mode.chained_assignment 可以设置为None"warn""raise""warn" 是默认值。 None 将完全抑制警告,"raise" 将抛出 SettingWithCopyError,阻止操作通过。

     pd.options.mode.chained_assignment = None
     df2['A'] /= 2
    

    deepcopy

     df2 = df[['A']].copy(deep=True)
     df2['A'] /= 2
    

@Peter Cotton 在 cmets 中提出了一种使用上下文管理器非侵入式更改模式(从this gist 修改)的好方法,仅在需要时设置模式,然后重置完成后恢复到原来的状态。

class ChainedAssignent:
    def __init__(self, chained=None):
        acceptable = [None, 'warn', 'raise']
        assert chained in acceptable, "chained must be in " + str(acceptable)
        self.swcw = chained

    def __enter__(self):
        self.saved_swcw = pd.options.mode.chained_assignment
        pd.options.mode.chained_assignment = self.swcw
        return self

    def __exit__(self, *args):
        pd.options.mode.chained_assignment = self.saved_swcw

用法如下:

# some code here
with ChainedAssignent():
    df2['A'] /= 2
# more code follows

或者,引发异常

with ChainedAssignent(chained='raise'):
    df2['A'] /= 2

SettingWithCopyError: 
A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_indexer,col_indexer] = value instead

“XY 问题”:我做错了什么?

很多时候,用户试图寻找抑制此异常的方法,但并未完全理解它最初出现的原因。这是XY problem 的一个很好的例子,用户试图解决一个问题“Y”,这实际上是一个根深蒂固的问题“X”的症状。将根据遇到此警告的常见问题提出问题,然后提出解决方案。

问题 1 我有一个数据框

df
       A  B  C  D  E
    0  5  0  3  3  7
    1  9  3  5  2  4
    2  7  6  8  8  1

我想将 col "A" > 5 中的值分配给 1000。我的预期输出是

      A  B  C  D  E
0     5  0  3  3  7
1  1000  3  5  2  4
2  1000  6  8  8  1

错误的做法:

df.A[df.A > 5] = 1000         # works, because df.A returns a view
df[df.A > 5]['A'] = 1000      # does not work
df.loc[df.A > 5]['A'] = 1000   # does not work

使用loc的正确方法:

df.loc[df.A > 5, 'A'] = 1000

问题 21 我正在尝试将单元格 (1, 'D') 中的值设置为 12345。我的预期输出是

   A  B  C      D  E
0  5  0  3      3  7
1  9  3  5  12345  4
2  7  6  8      8  1

我尝试了不同的方法来访问这个单元格,例如 df['D'][1]。最好的方法是什么?

1。这个问题与警告没有特别的关系,但是 最好了解如何正确执行此特定操作 以避免可能出现警告的情况 未来。

您可以使用以下任何一种方法来做到这一点。

df.loc[1, 'D'] = 12345
df.iloc[1, 3] = 12345
df.at[1, 'D'] = 12345
df.iat[1, 3] = 12345

问题 3 我正在尝试根据某些条件对值进行子集化。我有一个 数据帧

   A  B  C  D  E
1  9  3  5  2  4
2  7  6  8  8  1

我想将“D”中的值分配给 123,使得“C”== 5。我 试过了

df2.loc[df2.C == 5, 'D'] = 123

这看起来不错,但我仍然得到了 SettingWithCopyWarning!我该如何解决这个问题?

这实际上可能是因为管道中的代码较高。你是不是用更大的东西创建了df2,比如

df2 = df[df.A > 5]

?在这种情况下,布尔索引将返回一个视图,因此df2 将引用原始视图。您需要做的是将df2 分配给副本

df2 = df[df.A > 5].copy()
# Or,
# df2 = df.loc[df.A > 5, :]

问题 4 我正在尝试从

中删除列“C”
   A  B  C  D  E
1  9  3  5  2  4
2  7  6  8  8  1

但是使用

df2.drop('C', axis=1, inplace=True)

抛出SettingWithCopyWarning。为什么会这样?

这是因为df2 必须是从其他切片操作创建的视图,例如

df2 = df[df.A > 5]

这里的解决方案是要么使用 dfcopy(),要么像以前一样使用 loc

【讨论】:

P.S.:如果您的情况不在第 3 节的问题列表中,请告诉我。我会修改我的帖子。 我认为将问题 2 链接到解决 loc、iloc、at 和 iat 之间差异的问题会很有帮助。您可能比我更了解这样的问题,但如果有帮助,我很乐意寻求。 This question 解决同时使用 loc 和 iloc 的情况,iloc 代表行,loc 代表列 @cs95:您能否在尝试基于现有列的简单数学运算创建新列的情况下添加 XY 描述。如 df['new_col'] = df['old_col']/2。 'new_col' 尚不存在的地方。谢谢 @BryanP 除非我弄错了,应该或多或少地包含在“告诉我如何抑制警告!”部分。【参考方案2】:

为我工作:

import pandas as pd
# ...
pd.set_option('mode.chained_assignment', None)

【讨论】:

【参考方案3】:

只需在警告出现之前使用.copy() 方法创建数据帧的副本,即可删除所有警告。发生这种情况是因为我们不想更改原始的 quote_df。换句话说,我们不想玩我们为 quote_df 创建的 quote_df 对象的引用。

quote_df = quote_df.copy()

【讨论】:

【参考方案4】:

我在执行这部分代码时遇到了同样的警告:

    def scaler(self, numericals):
        scaler = MinMaxScaler()
        self.data.loc[:, numericals[0]] = scaler.fit_transform(self.data.loc[:, numericals[0]])
        self.data.loc[:, numericals[1]] = scaler.fit_transform(self.data.loc[:, numericals[1]])

scaler 是一个 MinMaxScaler,numericals[0] 包含我的 3 个数字列的名称。 当我将代码更改为:

    def scaler(self, numericals):
        scaler = MinMaxScaler()
        self.data.loc[:][numericals[0]] = scaler.fit_transform(self.data.loc[:][numericals[0]])
        self.data.loc[:][numericals[1]] = scaler.fit_transform(self.data.loc[:][numericals[1]])

所以,只需将 [:, ~] 更改为 [:][~]

【讨论】:

【参考方案5】:

为了消除任何疑问,我的解决方案是制作切片的深层副本,而不是常规副本。 这可能不适用,具体取决于您的上下文(内存限制/切片的大小,性能下降的可能性 - 特别是如果复制发生在循环中,就像它对我所做的那样,等等......)

要清楚,这是我收到的警告:

/opt/anaconda3/lib/python3.6/site-packages/ipykernel/__main__.py:54:
SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame
See the caveats in the documentation:
http://pandas.pydata.org/pandas-docs/stable/indexing.html#indexing-view-versus-copy

插图

我怀疑由于我在切片副本上放置了列而引发了警告。虽然技术上并没有尝试在切片副本中设置值,但这仍然是对切片副本的修改。 以下是我为确认怀疑而采取的(简化的)步骤,希望对我们这些试图理解警告的人有所帮助。

示例 1:在原件上删除一列会影响副本

我们已经知道了,但这是一个健康的提醒。这不是警告的内容。

>> data1 = 'A': [111, 112, 113], 'B':[121, 122, 123]
>> df1 = pd.DataFrame(data1)
>> df1

    A   B
0   111 121
1   112 122
2   113 123


>> df2 = df1
>> df2

A   B
0   111 121
1   112 122
2   113 123

# Dropping a column on df1 affects df2
>> df1.drop('A', axis=1, inplace=True)
>> df2
    B
0   121
1   122
2   123

可以避免对 df1 所做的更改影响 df2。注意:您可以通过使用 df.copy() 来避免导入 copy.deepcopy

>> data1 = 'A': [111, 112, 113], 'B':[121, 122, 123]
>> df1 = pd.DataFrame(data1)
>> df1

A   B
0   111 121
1   112 122
2   113 123

>> import copy
>> df2 = copy.deepcopy(df1)
>> df2
A   B
0   111 121
1   112 122
2   113 123

# Dropping a column on df1 does not affect df2
>> df1.drop('A', axis=1, inplace=True)
>> df2
    A   B
0   111 121
1   112 122
2   113 123

示例 2:在副本上删除一列可能会影响原件

这实际上说明了警告。

>> data1 = 'A': [111, 112, 113], 'B':[121, 122, 123]
>> df1 = pd.DataFrame(data1)
>> df1

    A   B
0   111 121
1   112 122
2   113 123

>> df2 = df1
>> df2

    A   B
0   111 121
1   112 122
2   113 123

# Dropping a column on df2 can affect df1
# No slice involved here, but I believe the principle remains the same?
# Let me know if not
>> df2.drop('A', axis=1, inplace=True)
>> df1

B
0   121
1   122
2   123

可以避免对 df2 所做的更改影响 df1

>> data1 = 'A': [111, 112, 113], 'B':[121, 122, 123]
>> df1 = pd.DataFrame(data1)
>> df1

    A   B
0   111 121
1   112 122
2   113 123

>> import copy
>> df2 = copy.deepcopy(df1)
>> df2

A   B
0   111 121
1   112 122
2   113 123

>> df2.drop('A', axis=1, inplace=True)
>> df1

A   B
0   111 121
1   112 122
2   113 123

干杯!

【讨论】:

【参考方案6】:

这个话题真的让 Pandas 很困惑。幸运的是,它有一个相对简单的解决方案。

问题在于,数据过滤操作(例如 loc)是否返回 DataFrame 的副本或视图并不总是很清楚。因此,进一步使用此类过滤后的 DataFrame 可能会造成混淆。

简单的解决方案是(除非您需要处理非常大的数据集):

每当您需要更新任何值时,请始终确保在分配之前明确复制 DataFrame。

df  # Some DataFrame
df = df.loc[:, 0:2]  # Some filtering (unsure whether a view or copy is returned)
df = df.copy()  # Ensuring a copy is made
df[df["Name"] == "John"] = "Johny"  # Assignment can be done now (no warning)

【讨论】:

对于大型数据集,您可以制作浅(深=假)副本。抑制警告似乎还是太过分了。【参考方案7】:

创建SettingWithCopyWarning 是为了标记可能令人困惑的“链式”分配,例如以下,它并不总是按预期工作,特别是当第一个选择返回一个副本 时。 [有关背景讨论,请参阅 GH5390 和 GH5597。]

df[df['A'] > 2]['B'] = new_val  # new_val not set in df

警告提供了如下重写的建议:

df.loc[df['A'] > 2, 'B'] = new_val

但是,这不适合你的用法,相当于:

df = df[df['A'] > 2]
df['B'] = new_val

虽然很明显您并不关心将其写入原始帧(因为您正在覆盖对它的引用),但不幸的是,这种模式无法与第一个链式分配示例区分开来。因此(误报)警告。如果您想进一步阅读,docs on indexing 中解决了误报的可能性。您可以通过以下分配安全地禁用此新警告。

import pandas as pd
pd.options.mode.chained_assignment = None  # default='warn'

其他资源

pandas User Guide: Indexing and selecting data Python Data Science Handbook: Data Indexing and Selection Real Python: SettingWithCopyWarning in Pandas: Views vs Copies Dataquest: SettingwithCopyWarning: How to Fix This Warning in Pandas Towards Data Science: Explaining the SettingWithCopyWarning in pandas

【讨论】:

我正在使用数据帧的一个切片,在该切片中进行修改并收到此错误。我通过在原始数据帧上执行.copy() 创建了这个切片,它起作用了。 df = df[df['A'].notnull()]应该如何处理?【参考方案8】:

从我使用.query() 方法的预先存在的数据帧分配新数据帧时,.apply() 遇到了这个问题。例如:

prop_df = df.query('column == "value"')
prop_df['new_column'] = prop_df.apply(function, axis=1)

将返回此错误。在这种情况下似乎可以解决错误的修复方法是将其更改为:

prop_df = df.copy(deep=True)
prop_df = prop_df.query('column == "value"')
prop_df['new_column'] = prop_df.apply(function, axis=1)

但是,由于必须制作新副本,因此效率不高,尤其是在使用大型数据帧时。

如果您使用.apply() 方法生成新列及其值,解决错误且更有效的修复方法是添加.reset_index(drop=True)

prop_df = df.query('column == "value"').reset_index(drop=True)
prop_df['new_column'] = prop_df.apply(function, axis=1)

【讨论】:

【参考方案9】:

由于这个问题已经在现有答案中得到充分解释和讨论,我将使用pandas.option_context 为上下文管理器提供一个简洁的pandas 方法(链接到docs 和example) - 绝对没有必要创建一个包含所有 dunder 方法和其他花里胡哨的自定义类。

首先是上下文管理器代码本身:

from contextlib import contextmanager

@contextmanager
def SuppressPandasWarning():
    with pd.option_context("mode.chained_assignment", None):
        yield

再举个例子:

import pandas as pd
from string import ascii_letters

a = pd.DataFrame("A": list(ascii_letters[0:4]), "B": range(0,4))

mask = a["A"].isin(["c", "d"])
# Even shallow copy below is enough to not raise the warning, but why is a mystery to me.
b = a.loc[mask]  # .copy(deep=False)

# Raises the `SettingWithCopyWarning`
b["B"] = b["B"] * 2

# Does not!
with SuppressPandasWarning():
    b["B"] = b["B"] * 2

值得注意的是,这两种方法都不会修改a,这让我有点惊讶,即使是带有.copy(deep=False) 的浅层df 副本也会阻止引发此警告(据我所知,浅层副本应该至少也修改a,但它没有。pandas 魔术。)。

【讨论】:

【参考方案10】:

这里我直接回答问题。如何处理?

切片后创建.copy(deep=False)。见pandas.DataFrame.copy。

等等,切片不是返回一个副本吗?毕竟,这就是警告信息想要表达的意思?阅读长答案:

import pandas as pd
df = pd.DataFrame('x':[1,2,3])

这给出了一个警告:

df0 = df[df.x>2]
df0['foo'] = 'bar'

这不是:

df1 = df[df.x>2].copy(deep=False)
df1['foo'] = 'bar'

df0df1 都是 DataFrame 对象,但它们的某些不同之处使 pandas 能够打印警告。让我们找出它是什么。

import inspect
slice= df[df.x>2]
slice_copy = df[df.x>2].copy(deep=False)
inspect.getmembers(slice)
inspect.getmembers(slice_copy)

使用您选择的差异工具,您会发现除了几个地址之外,唯一的实质性区别是:

|          | slice   | slice_copy |
| _is_copy | weakref | None       |

决定是否发出警告的方法是DataFrame._check_setitem_copy,它检查_is_copy。所以给你。创建一个copy,这样你的DataFrame就不是_is_copy

警告建议使用.loc,但如果您在_is_copy 的框架上使用.loc,您仍然会收到相同的警告。误导?是的。恼人的?你打赌。有帮助吗?潜在地,当使用链式赋值时。但它无法正确检测链分配并乱打印警告。

【讨论】:

很好的侦探。 FWIW 我还发现 _is_copyNone 对于原始 df 和切片的弱引用。此外,切片上的_is_copy() 返回原始df 的所有行。但是_is_copy打印的reference和原df的id不一样。切片是否以某种方式复制?另外,我想知道浅拷贝是否会导致其他问题或更新版本的熊猫?【参考方案11】:

有些人可能想简单地取消警告:

class SupressSettingWithCopyWarning:
    def __enter__(self):
        pd.options.mode.chained_assignment = None

    def __exit__(self, *args):
        pd.options.mode.chained_assignment = 'warn'

with SupressSettingWithCopyWarning():
    #code that produces warning

【讨论】:

【参考方案12】:

后续初学者问题/备注

也许对于像我这样的其他初学者来说是一个澄清(我来自 R,它在引擎盖下的工作似乎有点不同)。以下看起来无害且功能强大的代码不断产生 SettingWithCopy 警告,我不知道为什么。我已经阅读并理解了“链式索引”的发布,但我的代码不包含任何内容:

def plot(pdb, df, title, **kw):
    df['target'] = (df['ogg'] + df['ugg']) / 2
    # ...

但后来,太晚了,我查看了调用 plot() 函数的位置:

    df = data[data['anz_emw'] > 0]
    pixbuf = plot(pdb, df, title)

所以“df”不是数据框,而是一个对象,它以某种方式记住它是通过索引数据框创建的(所以那是一个视图吗?)这将在 plot() 中生成线条

 df['target'] = ...

相当于

 data[data['anz_emw'] > 0]['target'] = ...

这是一个链式索引。我说对了吗?

不管怎样,

def plot(pdb, df, title, **kw):
    df.loc[:,'target'] = (df['ogg'] + df['ugg']) / 2

修复它。

【讨论】:

聚会有点晚了,但.loc 应该转到df = data[data['anz_emw'] > 0],而不是plot() 函数。 这个解释是唯一让我明白的(也许是因为我也来自 R)。谢谢!【参考方案13】:

Pandas 数据框复制警告

当你去做这样的事情时:

quote_df = quote_df.ix[:,[0,3,2,1,4,5,8,9,30,31]]

pandas.ix 在这种情况下返回一个新的独立数据框。

您决定在此数据框中更改的任何值都不会更改原始数据框。

这是 pandas 试图警告你的。


为什么.ix 是个坏主意

.ix 对象试图做的不止一件事,对于任何读过干净代码的人来说,这是一种强烈的气味。

鉴于此数据框:

df = pd.DataFrame("a": [1,2,3,4], "b": [1,1,2,2])

两种行为:

dfcopy = df.ix[:,["a"]]
dfcopy.a.ix[0] = 2

行为一:dfcopy 现在是一个独立的数据框。改了不会改df

df.ix[0, "a"] = 3

行为二:这会改变原始数据框。


改用.loc

pandas 开发人员认识到.ix 对象很臭[推测性地],因此创建了两个新对象来帮助访问和分配数据。 (另一个是.iloc

.loc 更快,因为它不会尝试创建数据的副本。

.loc 旨在就地修改您现有的数据帧,这样可以提高内存效率。

.loc 是可预测的,它有一个行为。


解决方案

您在代码示例中所做的是加载一个包含很多列的大文件,然后将其修改为更小。

pd.read_csv 函数可以帮助您解决很多问题,还可以加快文件的加载速度。

所以不要这样做

quote_df = pd.read_csv(StringIO(str_of_all), sep=',', names=list('ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefg')) #dtype='A': object, 'B': object, 'C': np.float64
quote_df.rename(columns='A':'STK', 'B':'TOpen', 'C':'TPCLOSE', 'D':'TPrice', 'E':'THigh', 'F':'TLow', 'I':'TVol', 'J':'TAmt', 'e':'TDate', 'f':'TTime', inplace=True)
quote_df = quote_df.ix[:,[0,3,2,1,4,5,8,9,30,31]]

这样做

columns = ['STK', 'TPrice', 'TPCLOSE', 'TOpen', 'THigh', 'TLow', 'TVol', 'TAmt', 'TDate', 'TTime']
df = pd.read_csv(StringIO(str_of_all), sep=',', usecols=[0,3,2,1,4,5,8,9,30,31])
df.columns = columns

这只会读取您感兴趣的列,并正确命名它们。不需要使用邪恶的.ix 对象来做神奇的事情。

【讨论】:

【参考方案14】:

一般来说,SettingWithCopyWarning 的目的是向用户(尤其是新用户)展示他们可能在操作副本而不是他们认为的原件。 误报(如果你知道自己在做什么,IOW 可能是 ok)。一种可能性是像@Garrett 建议的那样简单地关闭(默认情况下warn)警告。

这是另一种选择:

In [1]: df = DataFrame(np.random.randn(5, 2), columns=list('AB'))

In [2]: dfa = df.ix[:, [1, 0]]

In [3]: dfa.is_copy
Out[3]: True

In [4]: dfa['A'] /= 2
/usr/local/bin/ipython:1: SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_index,col_indexer] = value instead
  #!/usr/local/bin/python

您可以将is_copy 标志设置为False,这将有效地关闭检查,对该对象

In [5]: dfa.is_copy = False

In [6]: dfa['A'] /= 2

如果您明确复制,则不会发生进一步的警告:

In [7]: dfa = df.ix[:, [1, 0]].copy()

In [8]: dfa['A'] /= 2

上面显示的 OP 代码虽然是合法的,而且可能我也这样做,但从技术上讲,这是此警告的一个案例,而不是误报。 没有警告的另一种方法是通过reindex进行选择操作,例如

quote_df = quote_df.reindex(columns=['STK', ...])

或者,

quote_df = quote_df.reindex(['STK', ...], axis=1)  # v.0.21

【讨论】:

我认为说有误报是轻描淡写的。我认为我从来没有得到过这个警告帮助我,而且我让它阻塞我的输出的次数是疯狂的。这也是一种不好的编程习惯:如果你开始忽略输出中的警告,因为你知道它们是纯粹的垃圾,你可能会开始错过真正的问题。不得不一直关闭相同的警告也很烦人。【参考方案15】:

这应该可行:

quote_df.loc[:,'TVol'] = quote_df['TVol']/TVOL_SCALE

【讨论】:

【参考方案16】:

我相信你可以避免这样的整个问题:

return (
    pd.read_csv(StringIO(str_of_all), sep=',', names=list('ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefg')) #dtype='A': object, 'B': object, 'C': np.float64
    .rename(columns='A':'STK', 'B':'TOpen', 'C':'TPCLOSE', 'D':'TPrice', 'E':'THigh', 'F':'TLow', 'I':'TVol', 'J':'TAmt', 'e':'TDate', 'f':'TTime', inplace=True)
    .ix[:,[0,3,2,1,4,5,8,9,30,31]]
    .assign(
        TClose=lambda df: df['TPrice'],
        RT=lambda df: 100 * (df['TPrice']/quote_df['TPCLOSE'] - 1),
        TVol=lambda df: df['TVol']/TVOL_SCALE,
        TAmt=lambda df: df['TAmt']/TAMT_SCALE,
        STK_ID=lambda df: df['STK'].str.slice(13,19),
        STK_Name=lambda df: df['STK'].str.slice(21,30)#.decode('gb2312'),
        TDate=lambda df: df.TDate.map(lambda x: x[0:4]+x[5:7]+x[8:10]),
    )
)

使用分配。来自documentation:将新列分配给 DataFrame,返回一个新对象(副本),其中包含除新列之外的所有原始列。

请参阅 Tom Augspurger 关于 pandas 中的方法链接的文章:https://tomaugspurger.github.io/method-chaining

【讨论】:

【参考方案17】:

对我来说,这个问题发生在以下 >simplified

带有警告的旧代码:

def update_old_dataframe(old_dataframe, new_dataframe):
    for new_index, new_row in new_dataframe.iterrorws():
        old_dataframe.loc[new_index] = update_row(old_dataframe.loc[new_index], new_row)

def update_row(old_row, new_row):
    for field in [list_of_columns]:
        # line with warning because of chain indexing old_dataframe[new_index][field]
        old_row[field] = new_row[field]  
    return old_row

这打印了old_row[field] = new_row[field]行的警告

由于 update_row 方法中的行实际上是 Series 类型,我将行替换为:

old_row.at[field] = new_row.at[field]

即method 用于访问/查找Series。尽管两者都可以正常工作并且结果相同,但这样我就不必禁用警告(=为其他地方的其他链索引问题保留它们)。

我希望这可以帮助某人。

【讨论】:

【参考方案18】:

如果您已将切片分配给变量并希望使用该变量进行设置,如下所示:

df2 = df[df['A'] > 2]
df2['B'] = value

并且您不想使用 Jeffs 解决方案,因为您的条件计算 df2 太长或出于其他原因,那么您可以使用以下内容:

df.loc[df2.index.tolist(), 'B'] = value

df2.index.tolist() 返回 df2 中所有条目的索引,然后将用于设置原始数据框中的 B 列。

【讨论】:

这比 df["B"] = value 贵 9 倍 你能更深入地解释一下@ClaudiuCreanga吗?

以上是关于如何处理 Pandas 中的 SettingWithCopyWarning的主要内容,如果未能解决你的问题,请参考以下文章

如何处理 Pandas 中的 SettingWithCopyWarning

如何处理 Pandas 中的 SettingWithCopyWarning

如何处理 Pandas 中的 SettingWithCopyWarning

如何处理 Pandas 中的 SettingWithCopyWarning

如何处理以下文本文件进行文本分类?我希望每个段落都作为 pandas 数据框中的一行,但我无法做到 [关闭]

Pandas:关于如何处理丢失小数的建议