高效的大型时间序列数据压缩方法 MidiMax 压缩算法 | 让时间序列可视化更容易

Posted 2022-07-12 叶庭云

文章目录

• 一、引言
• 二、Midimax 压缩算法
• 三、Python 实践

---

一、引言

CSDN 叶庭云：https://yetingyun.blog.csdn.net/

在实际时间序列场景中，例如金融时序数据，经常需要先对其进行可视化以方便我们了解数据，但金融时间序列数据量一般来说是非常巨大的，所以直接可视化的话需要花费较多的 RAM，磁盘等计算存储资源，本文介绍一种时间序列压缩算法 “Midimax”，该算法能够压缩时间序列数据并尽可能最大化保留原始时间序列数据信息（学通信的同学可能更清楚信号压缩的关键原理和注意事项~~）。该算法的设计有如下几点目标：

• 不引入非实际数据，只返回原始数据的子集。所以没有平均、插值、回归和统计聚合等；
• 计算高效，有较低的时间复杂度和空间复杂度；
• 最大化信息增益。这意味着它尽可能多地捕捉原始数据中的变化；
• 由于取最小和最大点可能会给出夸大方差的错误观点&#x