Matlab使用 MapReduce 创建直方图

Posted 2023-03-13 code_kd

可视化大型数据集中的模式，而无需同时将所有观察结果加载到内存中。它演示了如何计算足以生成图形的少量数据摘要。

直方图是一种常见的可视化技术，它给出变量的概率密度函数 (pdf) 的经验估计。直方图非常适合大数据环境，因为它们可以将原始输入数据的大小缩减为计数向量。每个计数是落在一组连续的数字区间或区间内的观察值的数量。

该mapreduce函数分别计算多个数据块的计数。然后mapreduce将所有块的计数相加。本例中的 map 函数和 reduce 函数都非常简单。不过，您可以使用它们收集的摘要信息构建灵活的可视化效果。

准备数据

---

使用airlinesmall.csv数据集创建数据存储。这个 12 兆字节的数