MapReduce中排序组件与序列化

Posted 2023-03-25

参考技术A

Java 的序列化是一个重量级序列化框架（Serializable），一个对象被序列化后，会附带很多额外的信 息（各种校验信息，header，继承体系等），不便于在网络中高效传输；所以，Hadoop 自己开发了一 套序列化机制（参与序列化的对象的类都要实现 Writable 接口），精简，高效 Hadoop 中的序列化框架已经对基本类型和 null 提供了序列化的实现了。分别是：

以案例为例说明：

Writable 有一个子接口是 WritableComparable，WritableComparable 是既可实现序列化， 也可以对key进行比较，我们这里可以通过自定义 Key 实现 WritableComparable 来实现我们的排序功 能。

下面通过一个案例来看一下具体的排序组件功能