005-hive概述
Posted 木子旭
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了005-hive概述相关的知识,希望对你有一定的参考价值。
Hive概述
名称 | |||
hive系统架构 | metastore | derby mysql |
|
HDFS | /usr/hive/warehouse | ||
Mapreduce | |||
hive配置文件 | hive-env.sh hive-site.xml hive-log4j.properties |
||
hive命令行 | hive --config | ||
hive shell | quit、exit reset set add、list、delete FILES !<command> dfs<command> HQL source files |
||
hive service | hive --service cli hive --service hiveserver hive --service metastore hive --service hwi hive --service jar |
||
HiveQL | 语法关键字 | show databases show PARTITIONS show tables create table load data(local) inpath select * from desc、alert/drop limit、as、case when then、union like、group by、having order by、sort by cluster by |
|
数据类型 | 简单类型 | tinyint、smallint、int、bigint float、double boolean string timestamp binary |
|
复杂类型 | array map struct |
||
表 | 内部表 | ||
外部表 | HDFS HBase Cassandra DynamoDB |
||
表查询 | 单表查询 inner joins outer joins Semi joins map joins 子查询 视图 |
||
数据表设计 | 每日一表 每日一表分区 按桶分散数据 |
||
Hive优化 | 表分区Partitions 表存储桶buckets 表压缩 索引→bitmap indexes 执行计划 控制Mappers、reducer数量 |
||
访问方式 | Hive shell java jdbc api thrift client Rhive |
||
自定义函数 | 自定义函数UDF 自定义聚合函数UADF |
||
Hive安全 | 认证 | hive.files.umask.value hive.metastore.authorization.storage.checks hive.metastore.execute.setugi |
|
授权 | hive.security.authorization.enabled hive.security.authorization.createtable.owner.grants hive.security.authorization.createtable.user.grants |
||
权限模型 | User Group Role |
||
web控制台 | hwi:9999 | ||
软件集成 | zookeeper thrift Ooize HCatalog AWS |
以上是关于005-hive概述的主要内容,如果未能解决你的问题,请参考以下文章