pandas DataFrame 从不规则时间序列索引中重新采样
Posted
技术标签:
【中文标题】pandas DataFrame 从不规则时间序列索引中重新采样【英文标题】：pandas DataFrame resample from irregular timeseries index 【发布时间】：2018-08-17 22:06:38 【问题描述】：我想每五秒重新采样一次 DataFrame，其中原始数据的时间戳是不规则的。如果这看起来像一个重复的问题，我们深表歉意，但我在插值与数据时间戳对齐时遇到了问题，这就是为什么我在这个问题中包含我的 DataFrame 的原因。 The graph in this answer 显示了我想要的结果，但我不能使用那里建议的 traces 包。我用pandas 0.19.0。
考虑以下飞机的爬升路径 (as dict on pastebin)：
Altitude Time
1 0.00 0.00000
2 1000.00 16.45350
3 2000.00 33.19584
4 3000.00 50.25330
5 4000.00 67.64580
6 5000.00 85.38720
7 6000.00 103.56720
8 7000.00 122.29260
9 8000.00 141.61440
10 9000.00 161.59140
11 9999.67 182.27940
12 10000.30 182.33940
13 10000.30 199.76880
14 10000.30 199.82880
15 11000.00 221.67660
16 12000.00 244.36260
17 13000.00 267.93900
18 14000.00 292.46940
19 15000.00 318.01080
20 16000.00 344.36820
21 17000.00 371.32200
22 18000.00 398.91420
23 19000.00 427.19100
24 20000.00 456.24900
25 21000.00 486.38940
26 22000.00 517.91640
27 23000.00 550.96140
28 24000.00 585.65460
29 25000.00 622.12800
30 26000.00 660.35400
31 27000.00 700.37400
32 28000.00 742.39200
33 29000.00 786.57600
34 30000.00 833.13000
35 31000.00 882.09000
36 32000.00 933.46200
37 33000.00 987.40800
38 34000.00 1044.06000
39 35000.00 1103.85000
40 36000.00 1167.52200
41 36088.90 1173.39000
42 36089.60 1173.45000
43 36671.70 1216.60200
44 36672.40 1216.66200
45 38000.00 1295.80200
46 39000.00 1368.45000
47 40000.00 1458.00000
48 41000.00 1574.08200
49 42000.00 1730.97000
50 42231.00 1775.19600
尝试过的解决方案
首先，我尝试在保持原始索引不变的情况下重新采样，如this question 所示，因此我可以进行线性插值，但我发现没有产生正确结果的插值方法（注意仅匹配 16.45s 的原始时间列）：
df = df.set_index(pd.to_datetime(df['Time'], unit='s'), drop=False)
resample_index = pd.date_range(start=df.index[0], end=df.index[-1], freq='5s')
dummy_frame = pd.DataFrame(np.NaN, index=resample_index, columns=df.columns)
df.combine_first(dummy_frame).interpolate().iloc[:6]
Time Altitude
1970-01-01 00:00:00.000000 0.000000 0.0
1970-01-01 00:00:05.000000 4.113375 250.0
1970-01-01 00:00:10.000000 8.226750 500.0
1970-01-01 00:00:15.000000 12.340125 750.0
1970-01-01 00:00:16.453500 16.453500 1000.0
1970-01-01 00:00:20.000000 20.639085 1250.0
第二，我尝试在不保留原索引的情况下重采样，先降到1s，再到5s，如this answer所示，但是插值在末尾没有对齐数据，也没有高度值（1000英尺应该在15到20秒之间）。只是重采样到 1 已经产生了错误的结果。
df.resample('1s').interpolate(method='linear').resample('5s').asfreq()
Time Altitude
1970-01-01 00:00:00 0.0 0.000000
1970-01-01 00:00:05 5.0 137.174211
1970-01-01 00:00:10 10.0 274.348422
1970-01-01 00:00:15 15.0 411.522634
1970-01-01 00:00:20 20.0 548.696845
1970-01-01 00:00:25 25.0 685.871056
1970-01-01 00:00:30 30.0 823.045267
1970-01-01 00:00:35 35.0 960.219479
1970-01-01 00:00:40 40.0 1097.393690
1970-01-01 00:00:45 45.0 1234.567901
1970-01-01 00:00:50 50.0 1371.742112
1970-01-01 00:00:55 55.0 1508.916324
1970-01-01 00:01:00 60.0 1646.090535
1970-01-01 00:01:05 65.0 1783.264746
1970-01-01 00:01:10 70.0 1920.438957
1970-01-01 00:01:15 75.0 2057.613169
1970-01-01 00:01:20 80.0 2194.787380
1970-01-01 00:01:25 85.0 2331.961591
1970-01-01 00:01:30 90.0 2469.135802
1970-01-01 00:01:35 95.0 2606.310014
1970-01-01 00:01:40 100.0 2743.484225
1970-01-01 00:01:45 105.0 2880.658436
1970-01-01 00:01:50 110.0 3017.832647
1970-01-01 00:01:55 115.0 3155.006859
1970-01-01 00:02:00 120.0 3292.181070
1970-01-01 00:02:05 125.0 3429.355281
1970-01-01 00:02:10 130.0 3566.529492
1970-01-01 00:02:15 135.0 3703.703704
1970-01-01 00:02:20 140.0 3840.877915
1970-01-01 00:02:25 145.0 3978.052126
... ... ...
1970-01-01 00:27:10 1458.0 40000.000000
1970-01-01 00:27:15 1458.0 40000.000000
1970-01-01 00:27:20 1458.0 40000.000000
1970-01-01 00:27:25 1458.0 40000.000000
1970-01-01 00:27:30 1458.0 40000.000000
1970-01-01 00:27:35 1458.0 40000.000000
1970-01-01 00:27:40 1458.0 40000.000000
1970-01-01 00:27:45 1458.0 40000.000000
1970-01-01 00:27:50 1458.0 40000.000000
1970-01-01 00:27:55 1458.0 40000.000000
1970-01-01 00:28:00 1458.0 40000.000000
1970-01-01 00:28:05 1458.0 40000.000000
1970-01-01 00:28:10 1458.0 40000.000000
1970-01-01 00:28:15 1458.0 40000.000000
1970-01-01 00:28:20 1458.0 40000.000000
1970-01-01 00:28:25 1458.0 40000.000000
1970-01-01 00:28:30 1458.0 40000.000000
1970-01-01 00:28:35 1458.0 40000.000000
1970-01-01 00:28:40 1458.0 40000.000000
1970-01-01 00:28:45 1458.0 40000.000000
1970-01-01 00:28:50 1458.0 40000.000000
1970-01-01 00:28:55 1458.0 40000.000000
1970-01-01 00:29:00 1458.0 40000.000000
1970-01-01 00:29:05 1458.0 40000.000000
1970-01-01 00:29:10 1458.0 40000.000000
1970-01-01 00:29:15 1458.0 40000.000000
1970-01-01 00:29:20 1458.0 40000.000000
1970-01-01 00:29:25 1458.0 40000.000000
1970-01-01 00:29:30 1458.0 40000.000000
1970-01-01 00:29:35 1458.0 40000.000000
问题
如何在执行正确插值的同时将原始数据重新采样到 5 秒？我只是使用了错误的插值方法吗？
【问题讨论】：
试试data = data.resample('5s', how = 'last').interpolate()
这不起作用，例如在 15 秒索引处，“时间”列是 16.45，海拔高度是 1000 英尺（即原始 16.45 秒索引的值）。
可能是这样的：data = data.resample('1ms').interpolate('linear', how = 'last').resample('5s', how = 'last')。所以先获得真正的高分辨率，然后再采样。
也不起作用。在 15s 指数，时间现在是 19.999。另外仅供参考，how 似乎在未来的版本中被弃用：FutureWarning: how in .resample() is deprecated the new syntax is .resample(...).last()
我只保留Time 作为验证列，你说得对，我的重点是其余列。虽然 970 英尺更接近解决方案，但它仍然是错误的：在 15 秒时，飞机应该在1000*(15/16.45) = 911.85 英尺。我无法将生成的 DataFrame 粘贴到此评论中，但请注意，例如，对于您的最后建议，0s 时间戳的高度已经是 242.54 英尺。我认为last 方法不是正确的方法，但除了指出您的建议不起作用的原因之外，无法支持它。我找不到有关 how 工作原理的文档。
【参考方案1】：
在@Martin Schmelzer 的帮助下（谢谢！）当我将time 用作pandas 插值方法的method 参数时，我发现问题中的第一个建议方法有效：
resample_index = pd.date_range(start=df.index[0], end=df.index[-1], freq='5s')
dummy_frame = pd.DataFrame(np.NaN, index=resample_index, columns=df.columns)
df.combine_first(dummy_frame).interpolate('time').iloc[:6]
Altitude Time
1970-01-01 00:00:00.000000 0.000000 0.0000
1970-01-01 00:00:05.000000 303.886711 5.0000
1970-01-01 00:00:10.000000 607.773422 10.0000
1970-01-01 00:00:15.000000 911.660133 15.0000
1970-01-01 00:00:16.453500 1000.000000 16.4535
1970-01-01 00:00:20.000000 1211.828215 20.0000
然后我可以将其重新采样到 5s 或其他任何值，结果是准确的。
df.combine_first(dummy_frame).interpolate('time').resample('5s').asfreq().head()
Altitude Time
1970-01-01 00:00:00 0.000000 0.0
1970-01-01 00:00:05 303.886711 5.0
1970-01-01 00:00:10 607.773422 10.0
1970-01-01 00:00:15 911.660133 15.0
1970-01-01 00:00:20 1211.828215 20.0
所以最后结果证明我只是使用了错误的插值方法。
【讨论】：
【参考方案2】：我发现这个问题非常困难。特别是如果 date_range() 不容易定义内插值的集合。有很多陷阱：
-
原始数据集中的重复项将传播到插值数据帧中的重复项。这是不受欢迎的行为，会导致插入长度不同的数组。
如果您的插值已在数据框中，则会添加一个副本。
您必须确保合并数据框，然后正确排序。
此代码适用于我：
import pandas as pd
import numpy as np
def interpolate_into(df, interpolate_keys, index_name, columns):
# Downselect to only those columns necessary
# Also, remove duplicated values in the data frame. Eye roll.
df = df[[index_name] + columns]
df = df.drop_duplicates(subset=[index_name], keep="first")
df = df.set_index(index_name)
# Only interpolate into values that don't already exist. This is not handled manually.
needed_interpolate_keys = [i for i in interpolate_keys if i not in df.index]
# Create a dummy DF that has the x or time values we want to interpolate into.
dummy_frame = pd.DataFrame(np.NaN, index=needed_interpolate_keys, columns=df.columns)
dummy_frame[index_name] = pd.to_datetime(needed_interpolate_keys)
dummy_frame = dummy_frame.set_index(index_name)
# Combine the dataframes, sort, interpolate, downselect.
df = dummy_frame.combine_first(df)
df = df.sort_values(by=index_name, ascending=True)
df = df.interpolate()
df = df[df.index.isin(interpolate_keys)]
return df
df是原始数据框。
interpolated_keys 是要为其插入新值的“x”值列表。
index_name 是这些键所在列的名称
columns 是您要为其插入值的其他列。
【讨论】：
以上是关于pandas DataFrame 从不规则时间序列索引中重新采样的主要内容，如果未能解决你的问题，请参考以下文章
从不同长度的元组列表的字典中创建 Pandas DataFrame
python - 如何在Python中将pandas DataFrame与None进行比较？
pandas基于applymap函数和lambda条件判断并基于规则函数更新dataframe中所有数据列数值内容的值（Conditionally updating values in pandas