hiveimpalakudu

Posted 2023-01-14 htui6788

关于HIVE、impala、kudu的一些记录

• HIVE相关
• • HIVE常用操作
• impala相关
• • impala与hive的一些区别
• KUDU
• • 建表

HIVE相关

HIVE常用操作

1. 修改分区名

alter table ic_fd_ods.lq_ods_step_ds_h partition(ds='2022_08_11') rename to partition(ds='20220811');

2. 查看分区

alter table xypack_ods_step_ds_h rename to xypack_ods_step_ds_h_bak;

3. 修改列名
   表名 旧列名 新列名 新类型

ALTER TABLE my_table CHANGE name myname double;

4. 新增一列，列名为c_test1

alter table dm.t_table add columns (c_test1 string comment '测试列'); 

5. 修改列顺序

把c_test1放在lable_id后面

alter table dm.t_table  change c_test1  c_test1 string  after lable_id;

6. 修改表注释及列注释

alter table tb_test set tblproperties('comment' = '测试表');
alter table tb_test change column id id string comment '用户号码';

7. 内部表和外部表转换及物理清空表的方法

ALTER TABLE ic_shuqi.fddl_ods_cloud_rolling_plan_tmp SET TBLPROPERTIES ('external.table.purge'='true');
truncate table ic_shuqi.fddl_ods_cloud_rolling_plan_tmp;
ALTER TABLE ic_shuqi.fddl_ods_cloud_rolling_plan_tmp SET TBLPROPERTIES ('external.table.purge'='false');

impala相关

impala与hive的一些区别

1. impala需要元数据刷新

刷新表：

refresh + 表名

2.impala与hive语法的不同
impala不支持 explode lateral view 炸裂函数

KUDU

建表

1. impala建表

kudu建表必须指定主键，主键可以单个字段也可以多个字段，分区默认是以主键分区

2. 与hive的区别
   hive支持insert overwrite不支持 upsert,kudu支持upsert不支持overwrite