hive的表结构如何导出

Posted 2023-05-07

我自己搭了个测试集群环境，用的是hadoop，以及其组件的最新版，想线上的清洗在我测试集群中跑，看看行不行，好为将来升级做准备，但是线上hive中的表很多，我不是要在我的hive中一个一个建表吧。。。有没有大神推荐个工具或者有好的办法的

由于hive 0.10之前没有 导出建表脚本的接口 ，就写了这样的脚本。
欢迎指正，留言，提供更好的方法。

cat tables|while read node
do
echo "node : $node"
/usr/local/hive/bin/hive -e "describe $node" >> $node.txt
awk 'print $1,$2","' $node.txt>>$node.txt1

echo "#!/bin/bash " >>$node.sh
echo "source ../../config/set_env.conf" >>$node.sh
echo "\$HIVE << EOF " >>$node.sh
echo "drop table $node;" >>$node.sh
echo "CREATE EXTERNAL TABLE $node(" >>$node.sh
cat $node.txt1>>$node.sh
echo ")">>$node.sh

echo "ROW FORMAT DELIMITED FIELDS TERMINATED BY '\,' LINES TERMINATED BY '\n'">>$node.sh
echo "STORED AS textfile ">>$node.sh
echo "location '/user/hadoop/idap/base/';">>$node.sh
echo "alter table $node set serdeproperties('serialization.null.format' = '');">>$node.sh
#echo "LOAD DATA INPATH \"/user/hadoop/idap/base/$node.txt\" INTO TABLE $node; ">>$node.sh
echo "exit;">>$node.sh
echo "EOF">>$node.sh

echo "if [ $? -ne 0 ];then">>$node.sh
echo " exit 2">>$node.sh
echo "fi">>$node.sh

rm $node.txt
rm $node.txt1
echo "================"
done追问

这个在网上也看到过，是您写的么？您测试过么？

参考技术A show create table "tableName";

sqoop 导出hive数据到MySQL数据库当中

常用命令：

查看hive中表的结构： desc table_name;

查看hive中表的详细结构：desc formatted table_name;

我们想要将hive表中的数据导出到MySQL当中，MySQL中必须要有一个表来接收，并且该表的结构要和hive当中的表结构一致，不然会报错。

踩坑：hive当中的 string 字段对应 MySQL当中的 varchar 类型

直接上代码：        

sqoop export --connect "jdbc:mysql://192.168.56.101:3306/dbFood?useUnicode=true&characterEncoding=utf-8" --username root --password root --table test05 --fields-terminated-by '\\001' --lines-terminated-by '\\t' --export-dir /hadoop/hive312/data/warehouse/test03

复制粘贴的时候建议先弄到记事本当中把代码合并成一行  --export-dir  后面有一个空格

！！！重点 ：  如果报错就把    '\\001'  替换为  ','

 ip 用户名和密码等参数就不说了。

参数1：MySQL当中要接收数据的表名

参数2：要导出表的所在路径    可以通过 desc formatted table_name; 查看

参数3：分隔符