测试时间序列数据中的无戳记分钟

Posted 2023-04-18

【中文标题】测试时间序列数据中的无戳记分钟

【英文标题】：Testing for unstamped minutes in time series data

【发布时间】：2021-10-31 00:07:17

【问题描述】：

我有一个分钟价格的 df，并想确定是否缺少分钟（跨越 5 年）。价格仅在有交易时才盖章，因此会丢失一些分钟。

在不同的列中有 4 个实体，我想知道缺少分钟的实体以及丢失的时间。

我的第一个倾向是对 NaN 进行重新采样和求和。这样做的最佳方法是什么？

【问题讨论】：

缺失值是多少？ 0?楠？只需使用 np.argwhere

缺少的将是一个 nan，好点，我已经编辑了这个问题，以包括仅在有交易时才标记 df 的事实，因此 df 缺少一些分钟

如果您有时间列表，只需制作另一个完整时间列表，并检查哪些在您的原始列表中，哪些不是缺失的时间

感谢 Derek，这就是我最终所做的，希望可能有更快的方法，但请参阅下面的答案，如果我应该编辑它，请告诉我 :)

【参考方案1】：

在有更好的答案之前，我是如何处理这个问题的。 Merge with the nearest minute using pandas

加上打印所有 NaN 值，写出这个问题的答案。

df_time = pd.DataFrame('date':pd.date_range(start='yyyy/mm/dd',end='yyyy/mm/dd', freq='1T')) df_time.info()这个简单的除法将确认你有正确的数据大小

df_combined = pd.merge(df_time, df_price, on='date') print(df_combined.isna())

然后我想获得与前一分钟相同的价格，因为没有发生显着差异的交易，我通过df_combined.ffill()做到了这一点