python pandas 怎么填补某一列的缺失值
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了python pandas 怎么填补某一列的缺失值相关的知识，希望对你有一定的参考价值。
df["你要填补的列名"].fillna(“填补的值”)df为你数据框名称 ，你的不一定是df 参考技术A 如果你要添加一千条记录，不要一条一条的concate。 可以试着每一百条组成一个小的dataframe,分十次粘上去，会快一点
根据 pandas 或 numpy 中某一列的值创建新行
【中文标题】根据 pandas 或 numpy 中某一列的值创建新行【英文标题】：create new rows based the values of one of the column in pandas or numpy 【发布时间】：2020-08-09 23:30:54 【问题描述】：我有一个如下所示的数据框。这是医生预约数据。
B_ID No_Show Session slot_num Cumulative_no_show
1 0.4 S1 1 0.4
2 0.3 S1 2 0.7
3 0.8 S1 3 1.5
4 0.3 S1 4 1.8
5 0.6 S1 5 2.4
6 0.8 S1 6 3.2
7 0.9 S1 7 4.1
8 0.4 S1 8 4.5
9 0.6 S1 9 5.1
12 0.9 S2 1 0.9
13 0.5 S2 2 1.4
14 0.3 S2 3 1.7
15 0.7 S2 4 2.4
20 0.7 S2 5 3.1
16 0.6 S2 6 3.7
17 0.8 S2 7 4.5
19 0.3 S2 8 4.8
当 u_cumulative > 0.8 时，在 No_Show = 0.0 的下方创建一个新行，其 Session 和 slot_num 应与前一个相同，并通过从前一个减去 1 创建一个名为 u_cumulative 的新列。
预期输出：
B_ID No_Show Session slot_num Cumulative_no_show u_cumulative
1 0.4 S1 1 0.4 0.4
2 0.3 S1 2 0.7 0.7
3 0.8 S1 3 1.5 1.5
walkin1 0.0 S1 3 1.5 0.5
4 0.3 S1 4 1.8 0.8
5 0.6 S1 5 2.4 1.4
walkin2 0.0 S1 5 2.4 0.4
6 0.8 S1 6 3.2 1.2
walkin3 0.0 S1 6 3.2 0.2
7 0.9 S1 7 4.1 1.1
walkin4 0.0 S1 7 4.1 0.1
8 0.4 S1 8 4.5 0.5
9 0.6 S1 9 5.1 1.1
walkin5 0.0 S1 7 5.1 0.1
12 0.9 S2 1 0.9 0.9
walkin1 0.0 S2 1 0.9 -0.1
13 0.5 S2 2 1.4 0.4
14 0.3 S2 3 1.7 0.7
15 0.7 S2 4 2.4 1.4
walkin2 0.0 S2 4 2.4 0.4
20 0.7 S2 5 3.1 1.1
walkin3 0.0 S2 5 3.1 0.1
16 0.6 S2 6 3.7 0.7
17 0.8 S2 7 4.5 1.5
walkin4 0.0 S2 7 4.5 0.5
19 0.3 S2 8 4.8 0.8
我尝试在下面计算 u_cumulative
def create_u_columns (ser):
arr_ns = ser.to_numpy()
arr_sn = np.ones(len(ser))
for i in range(len(arr_ns)-1):
if arr_ns[i]>0.6:
# remove 1 to u_no_show
arr_ns[i+1:] -= 1
else:
# increment u_slot_num
arr_sn[i+1:] += 1
#return a dataframe with both columns
return pd.DataFrame('U_slot_num':arr_sn, 'U_No_show': arr_ns, index=ser.index)
df[['U_slot_num', 'u_cumulative']] = df.groupby(['Session'])['Cumulative_No_show'].apply(create_u_columns)
但我无法根据上述逻辑创建新行。
【问题讨论】：
我想你的意思是如果 u_cumulative > 0.8 而不是 Cumulative_no_show > 0.8 @NYCCoder 是的，你是对的，感谢您指出.. 已编辑 简单来说，如何计算u_cumulative？ @wwnde 何时 Cumulative_no_show 超过 0.8 添加新行从累积无显示中减去 1 使其成为 u_cumulative 【参考方案1】：你可以通过创建一个计数列来稍微修改函数来添加后面的行：
def create_u_columns (ser):
l_index = []
arr_ns = ser.to_numpy()
# array for latter insert
arr_idx = np.zeros(len(ser), dtype=int)
walkin_id = 1
for i in range(len(arr_ns)-1):
if arr_ns[i]>0.8:
# remove 1 to u_no_show
arr_ns[i+1:] -= 1
# increment later idx to add
arr_idx[i] = walkin_id
walkin_id +=1
#return a dataframe with both columns
return pd.DataFrame('u_cumulative': arr_ns, 'mask_idx':arr_idx, index=ser.index)
df[['u_cumulative', 'mask_idx']]= df.groupby(['Session'])['Cumulative_no_show'].apply(create_u_columns)
现在您需要处理需要添加的行：
# select the rows
df_toAdd = df.loc[df['mask_idx'].astype(bool), :].copy()
# replace the values as wanted
df_toAdd['No_Show'] = 0
df_toAdd['B_ID'] = 'walkin'+df_toAdd['mask_idx'].astype(str)
df_toAdd['u_cumulative'] -= 1
# add 0.5 to index for later sort
df_toAdd.index += 0.5
现在您只需要将 concat 这个数据框添加到原始数据框，sort_index，reset_index 如果需要获得更干净的数据框，drop 之前创建的额外列
new_df = pd.concat([df,df_toAdd]).sort_index()\
.reset_index(drop=True).drop('mask_idx', axis=1)
print (new_df)
B_ID No_Show Session slot_num Cumulative_no_show u_cumulative
0 1 0.4 S1 1 0.4 0.4
1 2 0.3 S1 2 0.7 0.7
2 3 0.8 S1 3 1.5 1.5
3 walkin1 0.0 S1 3 1.5 0.5
4 4 0.3 S1 4 1.8 0.8
5 5 0.6 S1 5 2.4 1.4
6 walkin2 0.0 S1 5 2.4 0.4
7 6 0.8 S1 6 3.2 1.2
8 walkin3 0.0 S1 6 3.2 0.2
9 7 0.9 S1 7 4.1 1.1
10 walkin4 0.0 S1 7 4.1 0.1
11 8 0.4 S1 8 4.5 0.5
12 9 0.6 S1 9 5.1 1.1
13 12 0.9 S2 1 0.9 0.9
14 walkin1 0.0 S2 1 0.9 -0.1
15 13 0.5 S2 2 1.4 0.4
16 14 0.3 S2 3 1.7 0.7
17 15 0.7 S2 4 2.4 1.4
18 walkin2 0.0 S2 4 2.4 0.4
19 20 0.7 S2 5 3.1 1.1
20 walkin3 0.0 S2 5 3.1 0.1
21 16 0.6 S2 6 3.7 0.7
22 17 0.8 S2 7 4.5 1.5
23 walkin4 0.0 S2 7 4.5 0.5
24 19 0.3 S2 8 4.8 0.8
【讨论】：
请调查这个问题。 ***.com/questions/61496685/… 与上述问题类似，稍作修改。 在您免费期间，请查看以下问题。与上述问题类似，稍作修改。 ***.com/questions/62306761/…以上是关于python pandas 怎么填补某一列的缺失值的主要内容，如果未能解决你的问题，请参考以下文章
pandas dataframe缺失值（np.nan）处理：识别缺失情况删除0值填补均值填补中位数填补加缺失标签插值填充详解及实例