hive查询结果导入hadoop文件系统如何修改分隔符?insert overwrite directory...

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hive查询结果导入hadoop文件系统如何修改分隔符?insert overwrite directory...相关的知识,希望对你有一定的参考价值。

修改表的serde中的属性,把outputformat那个类换成自己写的,默认是\x001,可以修改成自用的,然后出来的文件就都按这个输出分隔符分割了。 参考技术A 可以变通下sql
insert xxx select concat(a,",",b,",","c") from xxx
这样输出的文件格式就是逗号分的了..
其他办法没试过,还不确定.追问

这。。。可以吗?是hive QL

如何将mysql数据导入Hadoop之Sqoop安装

你好,
完成sqoop的安装后,可以这样测试是否可以连接到mysql(注意:mysql的jar包要放到 SQOOP_HOME/lib 下):

sqoop list-databases --connect jdbc:mysql://192.168.1.109:3306/ --username root --password 19891231

结果如下

即说明sqoop已经可以正常使用了。

下面,要将mysql中的数据导入到hadoop中。

我准备的是一个300万条数据的身份证数据表:

先启动hive(使用命令行:hive 即可启动)

然后使用sqoop导入数据到hive:

sqoop import --connect jdbc:mysql://192.168.1.109:3306/hadoop --username root --password 19891231 --table test_sfz --hive-import

sqoop 会启动job来完成导入工作。

完成导入用了2分20秒,还是不错的。

在hive中可以看到刚刚导入的数据表:

我们来一句sql测试一下数据:

select * from test_sfz where id < 10;

可以看到,hive完成这个任务用了将近25秒,确实是挺慢的(在mysql中几乎是不费时间),但是要考虑到hive是创建了job在hadoop中跑,时间当然多。

接下来,我们会对这些数据进行复杂查询的测试:

我机子的配置如下:

hadoop 是运行在虚拟机上的伪分布式,虚拟机OS是ubuntu12.04 64位,配置如下:

TEST 1 计算平均年龄

测试数据:300.8 W

1. 计算广东的平均年龄

mysql:select (sum(year(NOW()) - SUBSTRING(borth,1,4))/count(*)) as ageAvge from test_sfz where address like '广东%';

用时: 0.877s

hive:select (sum(year('2014-10-01') - SUBSTRING(borth,1,4))/count(*)) as ageAvge from test_sfz where address like '广东%';

用时:25.012s

2. 对每个城市的的平均年龄进行从高到低的排序

mysql:select
address, (sum(year(NOW()) - SUBSTRING(borth,1,4))/count(*)) as ageAvge
from test_sfz GROUP BY address order by ageAvge desc;

用时:2.949s

hive:select
address, (sum(year('2014-10-01') - SUBSTRING(borth,1,4))/count(*)) as
ageAvge from test_sfz GROUP BY address order by ageAvge desc;

用时:51.29s

可以看到,在耗时上面,hive的增长速度较mysql慢。

TEST 2

测试数据:1200W

mysql 引擎: MyISAM(为了加快查询速度)

导入到hive:

1. 计算广东的平均年龄

mysql:select (sum(year(NOW()) - SUBSTRING(borth,1,4))/count(*)) as ageAvge from test_sfz2 where address like '广东%';

用时: 5.642s

hive:select (sum(year('2014-10-01') - SUBSTRING(borth,1,4))/count(*)) as ageAvge from test_sfz2 where address like '广东%';

用时:168.259s

2. 对每个城市的的平均年龄进行从高到低的排序

mysql:select
address, (sum(y
参考技术A 完成sqoop的安装后,可以这样测试是否可以连接到mysql(注意:mysql的jar包要放到 SQOOP_HOME/lib 下):

sqoop list-databases --connect jdbc:mysql://192.168.1.109:3306/ --username root --password 19891231

结果如下

即说明sqoop已经可以正常使用了。

下面,要将mysql中的数据导入到hadoop中。

我准备的是一个300万条数据的身份证数据表:

先启动hive(使用命令行:hive 即可启动)

然后使用sqoop导入数据到hive:

sqoop import --connect jdbc:mysql://192.168.1.109:3306/hadoop --username root --password 19891231 --table test_sfz --hive-import

sqoop 会启动job来完成导入工作。

完成导入用了2分20秒,还是不错的。

在hive中可以看到刚刚导入的数据表:

我们来一句sql测试一下数据:

select * from test_sfz where id < 10;

可以看到,hive完成这个任务用了将近25秒,确实是挺慢的(在mysql中几乎是不费时间),但是要考虑到hive是创建了job在hadoop中跑,时间当然多。本回答被提问者采纳
参考技术B sqoop1的架构,仅仅使用一个sqoop客户端,sqoop2的架构,引入了sqoop server集中化管理connector,以及rest api,web,UI,并引入权限安全机制。
sqoop1优点架构部署简单
sqoop1的缺点命令行方式容易出错,格式紧耦合,无法支持所有数据类型,安全机制不够完善,例如密码暴漏,
安装需要root权限,connector必须符合JDBC模型
sqoop2的优点多种交互方式,命令行,web UI,rest API,conncetor集中化管理,所有的链接安装在sqoop server上,完善权限管理机制,connector规范化,仅仅负责数据的读写。
sqoop2的缺点,架构稍复杂,配置部署更繁琐。

以上是关于hive查询结果导入hadoop文件系统如何修改分隔符?insert overwrite directory...的主要内容,如果未能解决你的问题,请参考以下文章

Hive为什么适合做数据仓库

008-Hadoop Hive sql语法详解3-DML 操作:元数据存储

Hive数据导入——数据存储在Hadoop分布式文件系统中,往Hive表里面导入数据只是简单的将数据移动到表所在的目录中!

Hive

如何将mysql数据导入Hadoop之Sqoop安装

Hive编程指南