MapReduce数据清洗及Hive数据库操作
Posted yishaui
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了MapReduce数据清洗及Hive数据库操作相关的知识，希望对你有一定的参考价值。
1、 数据清洗：按照进行数据清洗，并将清洗后的数据导入hive数据库中。
两阶段数据清洗：
（1）第一阶段：把需要的信息从原始日志中提取出来
ip: 199.30.25.88
time: 10/Nov/2016:00:01:03 +0800
traffic: 62
文章： article/11325
视频： video/3235
（2）第二阶段：根据提取出来的信息做精细化操作
ip--->城市 city（IP）
date--> time:2016-11-10 00:01:03
day: 10
traffic:62
type:article/video
id:11325
（3）hive数据库表结构:
create table data( ip string, time string , day string, traffic bigint,
type string, id string )
以上是关于MapReduce数据清洗及Hive数据库操作的主要内容，如果未能解决你的问题，请参考以下文章
大数据（MapReduce的编程细节及其Hive的安装，简单操作）
Hive的存储和MapReduce处理——数据清洗（Part3）
对给定的数据利用MapReduce编程实现数据的清洗和预处理，编程实现数据存储到HBase数据库，实现数据的增删改查操作接口