20180611早课记录28-Sqoop

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了20180611早课记录28-Sqoop相关的知识,希望对你有一定的参考价值。

1.sqoop是什么?

主要用于在Hadoop与RDBMS间进行数据的传递

2.sqoop分为哪两个分支,各最新版本是什么?

sqoop1:1.4.7
sqoop2:1.99.7

3.在工作中我们用的最多的是sqoop1,那么导入和导出,谁给谁的

导入是RDBMS到Hadoop
导出是Hadoop到RDBMS

4.假如输入一个命令找不到not found,你们觉得该怎么办?(老生常谈)

先看打错了没有,再看PATH有没有,或者yum安装

5.sqoop命令参数-m是什么意思

指定MapReduce的数量

6.sqoop 想要把mysql数据导到hive里,那么是不是要加mysql jdbc jar包?

需要

7.sqoop导入,我能不能直接写SQL的导?

可以 --query指定

8.sqoop会有reduce job吗

不会

9.假如让你们项目作业的sqoop 每天导数据到hive分区表里,用shell脚本和crontab,有没有信心完成?

还要练习

以上是关于20180611早课记录28-Sqoop的主要内容,如果未能解决你的问题,请参考以下文章

20180510早课记录07-MySQL

20180529早课记录20-MySQL

20180528早课记录19-Hadoop

20180607早课记录26-Hive

20180521早课记录14-Hadoop

20180530早课记录-Linux