在HUE中将文本格式的数据导入hive数仓中

Posted shujuxiong

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了在HUE中将文本格式的数据导入hive数仓中相关的知识,希望对你有一定的参考价值。

今天有一个需求需要将一份文档形式的hft与fdd的城市关系关系的数据导入到hive数仓中,之前没有在hue中进行这项操作(上家都是通过xshell登录堡垒机直接连服务器进行操作的),特此记录一下。

-- step1
-- 创建表(注意表的存储格式)
create table if not exists edw_public.dim_edw_pub_hft_fdd_city_rel_info(
hft_city_id     bigint  comment ‘好房通城市id‘,
hft_city_name   String  comment ‘好房通城市名称‘,
fdd_city_id     bigint  comment ‘房多多城市id‘,
fdd_city_name   String  comment ‘房多多城市名称‘
) comment ‘好房通房多多city_id关联关系表‘
row format delimited fields terminated by ‘	‘
stored as textfile;

-- step2
-- 将文本格式的文件放入HDFS对应目录下

-- step3
-- 将数据导入表中
load data inpath ‘/edw/edw_public/DWD/DDL/edw_public.dim_edw_pub_hft_fdd_city_rel_info/hft_fdd_city_rel_info.txt‘ into table edw_public.dim_edw_pub_hft_fdd_city_rel_info

 

以上是关于在HUE中将文本格式的数据导入hive数仓中的主要内容,如果未能解决你的问题,请参考以下文章

Hive数仓项目之数仓分层数仓工具的使用

IT管理

在hue 使用oozie sqoop 从mysql 导入hive 失败

如何在 jupyter notebook 中将 spark 数据帧写入 avro 文件格式?

hive导出数据到oracle date怎么转换

在hue当中设置hive当中数据库的控制权限。