Hadoop三大组件以及Hive的基础认知

Posted 2022-07-12 zzok

Hadoop三大组件：

分布式文件系统：HDFS —— 实现将文件分布式存储在很多的服务器上（分布式存储）

分布式运算编程框架：MapReduce——实现多台机器的分布式并行运算。（分布式运算）

分布式资源调度平台：YARN —— 帮用户调度大量的mapreduce程序，并合理分配运算资源

Hive 入门

Hive构建在Hadoop上

HQL中对查询语句的解释、优化、生成查询计划是由Hive完成的所有的数据存储在Hadoop上。

查询计划被转化为 MapReduce 任务(job)，在 Hadoop 中执行（有些查询没有 MR 任务，如：select * from table）

Hadoop和Hive都是用UTF-8编码的

 

常见数据库（database简称DB）

关系型数据库（关系型数据库就是由二维表及其之间的联系组成的一个数据组织）：

mysql oracle sqlServer postgresql(小oracle)

非关系型数据库：mangodb hbase redis

数据仓库datawarehouse简称DW(数据处理分为两大类，)

数据仓库和数据库的区别：

数据仓库的数据量大，数据库以数据量小

数据仓库可新增但很慢，且复杂并且不能修改删除，一般只用于大批量查询；

             数据库支持量小的增删改查

数据仓库是用来分析(OLAP)的，以读操作为主；数据库主要用来处理事务(OLTP)，以写操作为主

联机分析处理:OLAP

联机事务处理:OLTP

 

数据仓库有哪些？

Hive EMR(阿里)  TDW(腾讯)  infosfree(IBM) 。。。。。数据仓库产品至少有几十个

 

数据仓库数据从何而来

1 log包括应用日志，系统日志 ，web日志（tomcat,ngnix,apache）

2数据库

3 外部（爬虫，外部公司接口）

 

为什么用hive

1, 开源

2，免费

3，基于hadoop编码格式与其都是UTF-8

 

tips;ETL数据处理 进行数据提取转化

  

 

桥接模式。  静态IP 异地，需要更改ip  因为和本机是同一网段

NAT模式，动态ip  局域网   有自己的虚拟适配器网关，因此无论异地，无需更改

网关一般为192.168.1.1 网络数据 传输都需要经过网关

DNS  domain name service 域名解析器  

浏览地址，一般会先查找系统host文件中是否有对应的，没有才回通过DNS域名解析服务进行查找

Tips  子网掩码的作用是判断该IP是否为同一网段

 

 HDFS dfs -mkdir /xxx

Hive基本语法

基础数据类型包括：TINYINT,SMALLINT,INT,BIGINT,BOOLEAN,FLOAT,DOUBLE,STRING,BINARY,TIMESTAMP（时间戳，年月日时分秒）,DECIMAL（精确小数，保证不会丢失，与钱有关的使用）,CHAR,VARCHAR,DATE（日期：年月日）

 

元数据（Metadata）

元数据：形容数据的数据 ie:文件的内容是数据，那形容文件的信息如：文件大小、文件位置、文件访问时间、修改时间是元数据

 

Hive的数据是一张一张的表

Hive的元数据是形容表的数据，表的字段、标的名字、表的位置存放在mysql中

 

Tips：jps命令：当前虚拟机的java进程

 

Start-all.sh 启动所有

 

HQL语句

创建表

 hive/   create table nanjing(id int,name string) row format delimited fields terminated by ‘,‘;

hive/ CREATE TABLE invites (foo INT, bar STRING) PARTITIONED BY (ds STRING); 

PARTITIONED 分区

分区可以多级分区

分区字段不是表中字段

不限分区个数

例如：CREATE TABLE invites (foo INT, bar STRING) PARTITIONED BY (day STRING);

load data local inpath ‘/tmp/record‘ into table record partition(dggg

Hadoo页面本地文件系统目录 ： /user/hive/warehouse

 

Hive内部表和外部表

默认创建的表是内部表

如果在创建的时候加上external就是外部表

区别：

内部删除的时候 会将数据和元数据一起删除

外部表只删除元数据，数据仍旧保留

外部表比内部表安全，但删除麻烦 推荐使用

 

加载本地数据，同时给定分区信息

hive> LOAD DATA LOCAL INPATH ‘./examples/files/kv2.txt‘ OVERWRITE INTO TABLE invites PARTITION (ds=‘2008-08-15‘);

加载DFS数据 ，同时给定分区信息hadoop -fs put  record/1.txt

hive> LOAD DATA INPATH ‘/user/myname/kv2.txt‘ OVERWRITE INTO TABLE invites PARTITION (ds=‘2008-08-15‘);

 

 

Hive的执行引擎

1、local本地模式 不在yarn上执行mr,在本地。不是分布式执行

2、Mr mapreduce

3、Spark

4、tez

 

命令异常详解

ParseException 解析异常

SemanticRxception 语法异常

 

hive只是一个工具 把数据存放在 HDFS中，把元数据存放在mysql中

 

hive操作查询流程： 索引查询顺序，先去mysql 查询表在那个数据库里，发现数据库在HDFS中的指定位置，因此就去HDFS中 把文件下载下来 ，然后在显示在hive工具中。

 

mysql设置密码

mysqladmin -u root password ‘yourpassword‘

 

当在hive中创建了一个数据目录，

DBS（database）存放hive中的数据目录路径信息

TBLS 存放hive中的基本表信息