MapReduce数据清洗（ETL）

Posted 2021-10-09 ZSYL

数据清洗（ETL）

• 简介
• 1）需求
• 2）需求分析
• 3）实现代码
• • （1）编写 WebLogMapper 类
  • （2）编写 WebLogDriver 类

简介

“ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取（Extract）、转换（Transform）、加载（Load）至目的端的过程。

ETL 一词较常用在数据仓库，但其对象并不限于数据仓库.

在运行核心业务 MapReduce 程序之前，往往要先对数据进行清洗，清理掉不符合用户要求的数据。清理的过程往往只需要运行 Mapper 程序，不需要运行 Reduce 程序。

1）需求

去除日志中字段个数小于等于 11 的日志。

（1）输入数据

（2）期望输出数据

每行字段长度都大于 11。

2）需求分析

需要在 Map 阶段对输入的数据根据规则进行过滤清洗。

3）实现代码

（1）编写 WebLogMapper 类

package com.zs.mapreduce.etl;

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;

public class WebLogMapper extends Mapper<LongWritable, Text, Text, NullWritable> {

    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {

        // 1. 获取一行
        String line = value.toString();

        // 2.ETL
        boolean result = parseLog(line, context);

        if (!result) {
            return;
        }

        // 3.写出
        context.write(value, NullWritable.get());

    }
    private boolean parseLog(String line, Context context) {
        // 切割
        String[] fields = line.split(" ");

        // 判断一下日志的长度是否大于11
        if (fields.length > 11) {
            return true;
        } else {
            return false;
        }
    }
}

（2）编写 WebLogDriver 类

package com.zs.mapreduce.etl;

import com.zs.mapreduce.outputformat.LogDriver;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class WebLogDriver {
    public static void main(String[] args) throws Exception {
        // 输入输出路径需要根据自己电脑上实际的输入输出路径设置
        args = new String[] { "D:\\\\software\\\\hadoop\\\\input\\\\inputlog", "D:\\\\software\\\\hadoop\\\\output\\\\outputetl" };
        // 1 获取 job 信息
        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf);
        // 2 加载 jar 包
        job.setJarByClass(LogDriver.class);
        // 3 关联 map
        job.setMapperClass(WebLogMapper.class);
        // 4 设置最终输出类型
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(NullWritable.class);
        // 设置 reducetask 个数为 0
        job.setNumReduceTasks(0);
        // 5 设置输入和输出路径
        FileInputFormat.setInputPaths(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job, new Path(args[1]));
        // 6 提交
        boolean b = job.waitForCompletion(true);
        System.exit(b ? 0 : 1);
    }
}

加油!

感谢!

努力!