时间序列预处理

Posted 2022-12-03 彭祥.

我们使用的pandas库来完成时间序列预处理的过程

序列生成

首先是生成时间序列：
使用date-range函数，产生200个，周期为天（day)

import pandas as pd
rng=pd.date_range('2022-1-1',periods=200,freq='D')
print(rng)

给其分配随机值

import numpy as np
ts=pd.Series(np.random.randn(len(rng)),index=rng)
print(ts)

重采样

重采样，使用resample来完成，按照月份，取其和作为新的统计量，这是降采样

m=ts.resample('M').sum()
print(m)

3天为周期则为3D即可，这里可以选择均值，和等来描述数据

m=ts.resample('3D').sum()
print(m)

那要想升高频率来完成一个升采样的过程呢？这就涉及缺失值填充的问题了
如此时我们生成3天周期数据，想将其变为以天为单位，缺失值填充NaN

import pandas as pd
import numpy as np
rng=pd.date_range('2022-1-1',periods=200,freq='3D')
print(rng)
ts=pd.Series(np.random.randn(len(rng)),index=rng)
print(ts)
d=ts.resample('D').asfreq()
print(d)

有三种最常用的差值方法：

ffill 空值取前面的值
bfill 空值取后面的值
interpolate 线性取值

如：

d=ts.resample('D').bfill(2)
print(d)

或者线性填充：

d=ts.resample('D').interpolate('linear')
print(d)

滑动窗口

类似cnn中的步长

r=ts.rolling(window=10)
print(r.mean)#查看窗口均值