如何处理设置与Copy警告在熊猫什么是?SettingWithCopyWarning只需告诉我如何抑制警告!“XY问题”:我做错了什么?

背景

我刚刚将我的熊猫从0.11升级到0.13.0rc1。现在,该应用程序弹出了许多新的警告。其中之一是这样的:

E:\FinReporter\FM_EXT.py:449: SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_index,col_indexer] = value instead
  quote_df['TVol']   = quote_df['TVol']/TVOL_SCALE

我想知道这到底是什么意思?我需要更改某些内容吗?

如果我坚持使用,我应该如何暂停警告?quote_df['TVol'] = quote_df['TVol']/TVOL_SCALE

给出错误的函数

def _decode_stock_quote(list_of_150_stk_str):
    """decode the webpage and return dataframe"""

    from cStringIO import StringIO

    str_of_all = "".join(list_of_150_stk_str)

    quote_df = pd.read_csv(StringIO(str_of_all), sep=',', names=list('ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefg')) #dtype={'A': object, 'B': object, 'C': np.float64}
    quote_df.rename(columns={'A':'STK', 'B':'TOpen', 'C':'TPCLOSE', 'D':'TPrice', 'E':'THigh', 'F':'TLow', 'I':'TVol', 'J':'TAmt', 'e':'TDate', 'f':'TTime'}, inplace=True)
    quote_df = quote_df.ix[:,[0,3,2,1,4,5,8,9,30,31]]
    quote_df['TClose'] = quote_df['TPrice']
    quote_df['RT']     = 100 * (quote_df['TPrice']/quote_df['TPCLOSE'] - 1)
    quote_df['TVol']   = quote_df['TVol']/TVOL_SCALE
    quote_df['TAmt']   = quote_df['TAmt']/TAMT_SCALE
    quote_df['STK_ID'] = quote_df['STK'].str.slice(13,19)
    quote_df['STK_Name'] = quote_df['STK'].str.slice(21,30)#.decode('gb2312')
    quote_df['TDate']  = quote_df.TDate.map(lambda x: x[0:4]+x[5:7]+x[8:10])
    
    return quote_df

更多错误消息

E:\FinReporter\FM_EXT.py:449: SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_index,col_indexer] = value instead
  quote_df['TVol']   = quote_df['TVol']/TVOL_SCALE
E:\FinReporter\FM_EXT.py:450: SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_index,col_indexer] = value instead
  quote_df['TAmt']   = quote_df['TAmt']/TAMT_SCALE
E:\FinReporter\FM_EXT.py:453: SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_index,col_indexer] = value instead
  quote_df['TDate']  = quote_df.TDate.map(lambda x: x[0:4]+x[5:7]+x[8:10])

答案 1

创建 是为了标记可能令人困惑的“链接”分配,例如以下内容,这些分配并不总是按预期工作,特别是当第一个选择返回副本时。[有关背景讨论,请参见 GH5390 和 GH5597SettingWithCopyWarning

df[df['A'] > 2]['B'] = new_val  # new_val not set in df

该警告提供了重写的建议,如下所示:

df.loc[df['A'] > 2, 'B'] = new_val

但是,这不符合您的用法,这相当于:

df = df[df['A'] > 2]
df['B'] = new_val

虽然很明显你不关心写回到原始帧(因为你覆盖了对它的引用),但不幸的是,这种模式无法与第一个链接赋值示例区分开来。因此会出现(误报)警告。如果您想进一步阅读,可以在有关索引的文档中解决误报的可能性。您可以通过以下分配安全地禁用此新警告。

import pandas as pd
pd.options.mode.chained_assignment = None  # default='warn'

其他资源


答案 2

如何在熊猫?SettingWithCopyWarning

这篇文章是为读者准备的,

  1. 想要了解此警告的含义
  2. 想要了解抑制此警告的不同方法
  3. 希望了解如何改进其代码并遵循良好做法以避免将来出现此警告。

设置

np.random.seed(0)
df = pd.DataFrame(np.random.choice(10, (3, 5)), columns=list('ABCDE'))
df
   A  B  C  D  E
0  5  0  3  3  7
1  9  3  5  2  4
2  7  6  8  8  1

什么是?SettingWithCopyWarning

要知道如何处理此警告,请务必了解它的含义以及为什么首先提出它。

筛选 DataFrames 时,可以根据内部布局和各种实现详细信息对帧进行切片/索引以返回视图副本。正如术语所暗示的那样,“视图”是原始数据的视图,因此修改视图可能会修改原始对象。另一方面,“副本”是从原始数据复制的数据,修改副本对原始副本没有影响。

正如其他答案所提到的,创建 是为了标记“链式分配”操作。在上面的设置中考虑。假设您要选择列“B”中的所有值,其中列“A”中的值> 5。Pandas允许您以不同的方式执行此操作,有些方式比其他方式更正确。例如SettingWithCopyWarningdf

df[df.A > 5]['B']
 
1    3
2    6
Name: B, dtype: int64

df.loc[df.A > 5, 'B']

1    3
2    6
Name: B, dtype: int64

这些返回相同的结果,因此,如果您只读取这些值,则不会有任何区别。那么,问题出在哪里呢?链式赋值的问题在于,通常很难预测是否返回视图或副本,因此当您尝试重新赋值时,这在很大程度上成为一个问题。若要在前面的示例的基础上构建,请考虑解释器如何执行此代码:

df.loc[df.A > 5, 'B'] = 4
# becomes
df.__setitem__((df.A > 5, 'B'), 4)

只需调用一次。OTOH,请考虑以下代码:__setitem__df

df[df.A > 5]['B'] = 4
# becomes
df.__getitem__(df.A > 5).__setitem__('B', 4)

现在,根据返回的是视图还是副本,该操作可能不起作用__getitem____setitem__

通常,应将 loc 用于基于标签的赋值,将 iloc 用于基于整数/位置的赋值,因为规范保证它们始终在原始分配上运行。此外,要设置单个单元格,应使用 atiat

可以在文档中找到更多内容

注意:
使用 完成的所有布尔索引操作也可以使用 来完成。唯一的区别是,索引需要整数/位置或布尔值的 numpy 数组,以及列的整数/位置索引。locilociloc

例如

df.loc[df.A > 5, 'B'] = 4

可以写成纳斯

df.iloc[(df.A > 5).values, 1] = 4

df.loc[1, 'A'] = 100

可以写成

df.iloc[1, 0] = 100

等等。


只需告诉我如何抑制警告!

考虑对 的 “A” 列执行一个简单的操作。选择“A”并除以2将引发警告,但操作将起作用。df

df2 = df[['A']]
df2['A'] /= 2
/Library/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/IPython/__main__.py:1: SettingWithCopyWarning: 
A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_indexer,col_indexer] = value instead

df2
     A
0  2.5
1  4.5
2  3.5

有几种方法可以直接使此警告静音:

  1. (推荐)使用 loc 对子集进行切片

     df2 = df.loc[:, ['A']]
     df2['A'] /= 2     # Does not raise 
    
  2. 更改pd.options.mode.chained_assignment
    可以设置为 、 或 。 是默认值。 将完全抑制警告,并将抛出 一个 ,阻止操作通过。None"warn""raise""warn"None"raise"SettingWithCopyError

     pd.options.mode.chained_assignment = None
     df2['A'] /= 2
    
  3. 制作深度复制

     df2 = df[['A']].copy(deep=True)
     df2['A'] /= 2
    

@Peter Cotton在评论中,提出了一种很好的方法,可以使用上下文管理器非侵入性地更改模式(从此要点修改),仅在需要时设置模式,并在完成后将其重置回原始状态。

class ChainedAssignent:
    def __init__(self, chained=None):
        acceptable = [None, 'warn', 'raise']
        assert chained in acceptable, "chained must be in " + str(acceptable)
        self.swcw = chained

    def __enter__(self):
        self.saved_swcw = pd.options.mode.chained_assignment
        pd.options.mode.chained_assignment = self.swcw
        return self

    def __exit__(self, *args):
        pd.options.mode.chained_assignment = self.saved_swcw

用法如下:

# some code here
with ChainedAssignent():
    df2['A'] /= 2
# more code follows

或者,引发异常

with ChainedAssignent(chained='raise'):
    df2['A'] /= 2

SettingWithCopyError: 
A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_indexer,col_indexer] = value instead

“XY问题”:我做错了什么?

很多时候,用户试图寻找抑制此异常的方法,而没有完全理解为什么首先提出它。这是XY问题的一个很好的例子,用户试图解决一个问题“Y”,这个问题实际上是一个更深层次的问题“X”的症状。将根据遇到此警告的常见问题提出问题,然后提供解决方案。

问题 1
我有一个数据帧

df
       A  B  C  D  E
    0  5  0  3  3  7
    1  9  3  5  2  4
    2  7  6  8  8  1

我想在列“A”中分配值,>5到1000。我的预期输出是

      A  B  C  D  E
0     5  0  3  3  7
1  1000  3  5  2  4
2  1000  6  8  8  1

错误的方法:

df.A[df.A > 5] = 1000         # works, because df.A returns a view
df[df.A > 5]['A'] = 1000      # does not work
df.loc[df.A > 5]['A'] = 1000   # does not work

正确的使用方式:loc

df.loc[df.A > 5, 'A'] = 1000

问题 21
我正在尝试将单元格 (1, 'D') 中的值设置为 12345。我的预期输出是

   A  B  C      D  E
0  5  0  3      3  7
1  9  3  5  12345  4
2  7  6  8      8  1

我尝试了访问此单元格的不同方法,例如.最好的方法是什么?df['D'][1]

1.这个问题与警告没有特别的关系,但最好了解如何正确执行此特定操作,以避免将来可能出现警告的情况。

您可以使用以下任一方法来执行此操作。

df.loc[1, 'D'] = 12345
df.iloc[1, 3] = 12345
df.at[1, 'D'] = 12345
df.iat[1, 3] = 12345

问题 3
我正在尝试根据某些条件对值进行子集化。我有一个数据帧

   A  B  C  D  E
1  9  3  5  2  4
2  7  6  8  8  1

我想将“D”中的值分配给123,以便“C”== 5。我试过了

df2.loc[df2.C == 5, 'D'] = 123

这似乎很好,但我仍然得到!如何解决此问题?SettingWithCopyWarning

这实际上可能是因为管道中的代码更高。您是否从更大的东西中创建,例如df2

df2 = df[df.A > 5]

?在这种情况下,布尔索引将返回一个视图,因此将引用原始视图。您需要做的是分配给副本df2df2

df2 = df[df.A > 5].copy()
# Or,
# df2 = df.loc[df.A > 5, :]

问题 4
我正在尝试从中就地删除列“C”

   A  B  C  D  E
1  9  3  5  2  4
2  7  6  8  8  1

但是使用

df2.drop('C', axis=1, inplace=True)

抛出。为什么会发生这种情况?SettingWithCopyWarning

这是因为必须已创建为来自其他切片操作的视图,例如df2

df2 = df[df.A > 5]

这里的解决方案是要么做 a 的,要么像以前一样使用 。copy()dfloc