hadoop 数据处理 总结

Posted 2020-12-06 weiluoyan

最近工作中用了了Hadoop，比如用Hadoop来处理广告的一些pv量数据、点击数据等，最后统计后给运营展示每个广告的数据报表

首先自己了解了一些关于Hadoop的概念知识

hadoop平台提供了分布式存储（hdfs），分布式计算（mapredduce），任务调度（YARN）、对象存储（Ozone）、和组件支撑服务

 

Hadoop主要用来存储以及处理大量并且复杂的数据. 他是由java编写的, 最核心的三个组件分别是HDFS, MapReduce, Yarn。

主要使用场景有三个:

• 存储大量的数据
• 处理不同格式的数据, 包括结构性的数据, 比如关系型数据库里面的数据 以及日常生活中大量存在的非结构化以及半结构化的数据
• 快速处理大量数据，主要用于实时分析

HDFS负责存储

MapReduce则负责处理数据啦, 它分为Map和Reduce两个阶段. Map负责将我们需要的数据从不同的电脑上拿出来, Reduce则负责对数据进行统计分析啦， 比如计数以及筛选。

Yarn 负责资源的分配以及调度.

 

hadoop就是用来做大文件存储以及数据处理的框架。

 

为了存储大量数据和查询数据

 

Hadoop是一个开源的框架，可编写和运行分布式应用处理大规模数据，是专为离线和大规模数据分析而设计的

 

hdfs:就是一个文件系统，可以存储海量的数据

 

mapredduce：从海量的数据中，通过一定的算法，计算出有用信息

 

hive：就是sql语句解释器，接收用户输入的sql语句，然后将sql语句翻译成复杂的mapreduce程序，并发布到mr集群中进行运算，也是计算出有用的信息。

 

hbase：mysql是基于linux/window 的文件系统的数据库，而hbase就是基于hdfs文件系统的数据库

 

flume：就是一个水泵，将水从一个源水坑，抽到到另一个目的水坑中，当然flumen抽的是数据，将数据从一个文件抽取到另一个文件中

 

sqoop：将hdfs文件系统的文件，导出到Linux文件系统的文件中，就像豌豆荚的应用程序，实现android系统和window系统之间文件的导入导出

 

ooize/azkaban：一个完整的业务（word）是由多个任务（task）相互配合完成

 

 

我在应用中，配置了crontab，写了shell脚本，这个脚本是主流程，每天定时开始处理数据

1、引入了jdk包，以及hadoop的目录，设置的日期是前一天

2、将数据源，也就是记录日志的机器把日志推送到使用的服务器，比如点击的数据、pv的log

3、使用hadoop开始创建一个新目录，将推送过来的数据put到该目录

4、点击数据同上一步

5、引入java的jar 了，这一步就是实现mapreduce,比如我新建的方法pvMapper extends MapReduceBase implemns Mapper，然后就是解析刚才保存的日志，根据广告位的唯一id，获取想要的广告位，再取这个广告位下的所有广告，然后按照一定的算法设置将想要的数据进行处理，处理后放到一个文件中。

6、get这个文件，按照一定的参数排列获取写入一个小时的问题，比如需要按照小时记录

7、最后将日志文件推送到处理数据的服务器

8、在那台服务器使用脚本解析文件，入库即可。

9、最后清空文件目录

 

我大概就是按照这个流程做的一个日志的数据处理。总结一下。

 

网上很多mapreduce的文件，拿到改成自己的文件路径和处理数据格式直接用就可以啦。