Hive编程指南_学习笔记01

Posted wzjhoutai

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hive编程指南_学习笔记01相关的知识,希望对你有一定的参考价值。

第四章: HQl的数据定义
1:创建数据库
  create database financials;
  create database  if not exists financials;


2: 查看数据库
  show databases;
   模糊查询数据库
  show databases like ‘h.*‘ ;


3:创建数据库改动数据库的默认位置
   create database financials localtion ‘/my/preferred/directory‘


4:添加数据库的描写叙述信息
   create database financials comment ‘holds all financials tables‘
5: 显示数据库的描写叙述的信息
  describe database financials;
6: 添加一些和相关属性的键-值对属性信息
  create database financials
  with dbproperties (‘create‘= ‘Mark Moneybags‘, ‘data‘=‘2012-12-12‘);
  describe database  extended  financials;
  
7:没有命令提示让用户查看当前所在的是那个数据库。能够反复使用use
  use financials。
  能够通过设置一个属性值来在提示符里面显示当前所在的数据库
  set hive.cli.print.current.db = true;
  set hive.cli.print.current.db= false;
  
8:删除数据库
 drop database if exists financials;
 Hive是不同意删除一个包括表的数据库。
 当时假设加上keyword: cascade。就能够了,hive自己主动删除数据库中的表
  drop database if exists financials  cascade; 
 
9:改动数据库,设置dbproperties键值对属性值
 alert database financials set  dbproperties(‘edited-by‘=‘joe dba‘);
 
10:创建表:
 create table if not  exists employees (
  name string comment ‘employee name‘,
  salary float comment ‘employee salary ‘,
  subordinates array<string> comment ‘employee name of subordinates ‘ ,
  deductions Map<string,FLOAT>,
  address struct<street:string,city:string,state:String,zip:int>
  )
  comment ‘ description  of the table ‘ 
  tblproperties (‘creater‘= ‘me‘, ‘created_at‘=‘2012-12-12‘);
  location ‘/user/hive/warehouse/mydb.db/employees‘
  
  -- tblproperties 的主要作用是:按键-值对的格式为表添加额外的文档说明
  
11: 列举某个表的tblproperties 属性信息
  show  tblproperties employees;
 
12: 拷贝表
create table if not exists mydb.employees2 like mydb.employees2  


13:选择数据库
    use mydb
   显示表
show tables;
show tables  IN  mydb;
14: 查看这个表的具体结果信息
describe extended mydb.employees
    使用formatted keyword取代 extended
describe formatted mydb.employees

15: 管理表:内部表:删除表时,会删除这个表的数据
   创建一个外部表:其能够读取全部位于/data/stocks文件夹下的以逗号切割的数据
   create external table if not exists stocks(
   exchange string,
   symbol string,
   ymd String,
   price_open float,
   price_hight float,
   price_low float,
   price_close float,
   volume int,price_adj_close float)
   row  format delimited fields terminated by ‘,‘
   location ‘/data/stocks‘

16: 查看表是否是管理表还是外部表
 describe extended tablename
   输出信息:
   tableType.managed_table--管理表
   tableType.external_table--外部表
   
   -- 复制表但不会复制数据
create table if not exists mydb.employees3(新表)
like mydb.employees2(原表)    location ‘/data/stocks‘
   

17: 创建分区表
  create table employees (
  name string,
  salary float,
  subordinates array<string>,
  deductions Map<string,FLOAT>,
  address struct<street:string,city:string,state:String,zip:int>
  )
  partitioned by (country String,state string);

  分区自段:
  country String,state string 和普通字段一样。相当于索引字段。
  依据分区字段查询,提交效率。提高查询性能
  
18: set hive.mapred.mode=strict;
   假设对分区表进行查询而where子句没有加分区过滤的话,
   将会禁止提交这个任务。
   能够设置为:nostrict
  
19: 查看表中存在的全部分区
   show partitions employees;
   
20: 查看是否存储某个特定分区键的分区的话
show partitions employees   partition(country=‘US‘);
     describe extended employees 命令也会显示分区键


  管理大型生产数据集最常见的情况:使用外部分区表
21:在管理表中用户能够通过加载数据的方式创建分区:
   load data local inpath ‘/home/hive/California-employees‘
   INTO table employees
   partition(country=‘US‘,state=‘CA‘);


   hive 将会创建这个分区相应的文件夹..../employees/country=US/state=CA


22:创建外部分区表
   
   create table  if not exists log_messages (
hms  int,
severity string,
server string,
process_id  int,
message  string
 
  )
  partitioned by (year int,month int,day int) 
  row  format delimited fields terminated by ‘\t‘





1:order by  会对输入做全局排序

2: sort能够控制每一个reduce产生的文件都是排序。再对多个排序的好的文件做二次归并排序。

sort by 特点例如以下:
 1) . sort by 基本受hive.mapred.mode是否为strict、nonstrict的影响,但若有分区须要指定分区。
 2). sort by 的数据在同一个reduce中数据是按指定字段排序。
 3). sort by 能够指定运行的reduce个数,如:set mapred.reduce.tasks=5 ,对输出的数据再运行归并排序。即能够得到所有结果。



结果说明:严格模式下,sort by 不指定limit 数,能够正常运行。

sort by 受hive.mapred.mode=sctrict 的影响较小。

3:distribute by 
distribute by 是控制在map端怎样拆分给reduce端。

依据distribute by 后面的列及reduce个数进行数据分发,默认採用hash算法。distribute能够使用length方法会依据string类型的长度划分到不同的reduce中。终于输出到不同的文件里。 length 是内建函数,也能够指定其它的函数或这使用自己定义函数。

4:    cluster by 

cluster by 除了distribute by 的功能外,还会对该字段进行排序,所以cluster by = distribute by +sort by



































以上是关于Hive编程指南_学习笔记01的主要内容,如果未能解决你的问题,请参考以下文章

hive学习笔记_hive的介绍与安装

Hive编程指南学习01

hadoop-hive学习笔记

安卓权威编程指南 - 第五章学习笔记(两个Activity)

js权威指南---学习笔记01

JavaScript面向对象编程指南——学习笔记1