Sqoop

Posted Super_Orco

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Sqoop相关的知识,希望对你有一定的参考价值。

Sqoop是什么

Sqoop 是连接传统关系型数据库和Hadoop 的桥梁,主要功能是,

  把关系型数据库的数据导入到Hadoop 系统( 如HDFS、HBase 和Hive) 中

  把数据从Hadoop 系统里抽取并导出到关系型数据库里

可以利用MapReduce 加快数据传输速度,使用批处理的方式进行数据传输

关系数据库与Hadoop之间传递数据

全量导入:

sqoop

增量导入:

Canal(https://github.com/alibaba/canal)

DataBus(https://github.com/linkedin/databus )

Sqoop import

将数据从关系型数据库导入Hadoop中

  1、Sqoop与数据库Server 通信,获取数据库表的元数据信息

  2、Sqoop启动一个Map-Only的MR作业,利用元数据信息并行将数据写入Hadoop

Sqoop import使用方法

sqoop import --connect jdbc:mysql://mysql.example.com/sqoop \
--username sqoop --password sqoop --table cities
注:
--connnect: 指定JDBC URL
--username/password:mysql数据库的用户名
--table:要读取的数据库表

Sqoop export

将数据从Hadoop导入关系型数据库导中

  1、Sqoop与数据库Server 通信,获取数据库表的元数据信息

  2、并行导入数据,将Hadoop上文件划分成若干个split,每个split由一个Map Task进行数据导入

Sqoop export使用方法

sqoop export --connect jdbc:mysql://mysql.example.com/sqoop \
--username sqoop --password sqoop --table cities --export-dir cities
注:
--connnect: 指定JDBC URL
--username/password:mysql数据库的用户名
--table:要导入的数据库表
export-dir:数据在HDFS上存放目录

Sqoop 与其他系统结合

sqoop import --connect jdbc:mysql://mysql.example.com/sqoop \
--username sqoop --password sqoop --table cities --hive-import

sqoop import --connect jdbc:mysql://mysql.example.com/sqoop \
--username sqoop --password sqoop --table cities --hbase-table cities --column-family world

 

以上是关于Sqoop的主要内容,如果未能解决你的问题,请参考以下文章

Apache sqoop 未编译

sqoop 创建 impala 拼花桌

从 impala 导入 Sqoop

hadoop入门学习系列之六hadoop学习之sqoop安装

从 SAP HANA 导入数据时出现 sqoop 问题

sqoop 将数据导入hive