java程序,用于mapreduce处理数据
Posted 草莓干123456
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了java程序,用于mapreduce处理数据相关的知识,希望对你有一定的参考价值。
1、通过传统的key-value类分析数据
创建key类时,所有key都要继承writablecomparable接口
public class sendorkey implements writablecomparable
{
default constructor+parameterized constructor
implementation of readfields method
implementation of write method
overriding the compare to method
}
Sensorkey.java
SensorValue.java
【注明:默认构造函数对变量进行初始化设置
带参数的构造函数通过其参数值对类变量进行初始化设置
默认的readfields方法的参数为datainput,不管内容是什么,我们都是使用readfield方法来接受和传递输入到这个类中的数据,同理不论dataoutput的内容是什么,write方法都会输出这些数据
在compreto方法逻辑中,我们将对于不同的传感器进行比较
每个属性都含有一个get和set方法】
2、creating a customized recordreader class(如何创建自定义的recordreader类)
【注明:自定义recordreader会继承默认的recordreader,他的参数时自定义的key,value类型,在nextkeyvalue,我们从含有完整记录的reader获取当前值。记录中,根据TDB键拆分这些列,并把前三列赋给key类,同时也给value类赋值】
3.creating a customized inputformat class
以上是关于java程序,用于mapreduce处理数据的主要内容,如果未能解决你的问题,请参考以下文章