CDH6之Sqoop添加数据库驱动

Posted 小基基o_O

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了CDH6之Sqoop添加数据库驱动相关的知识,希望对你有一定的参考价值。

文章目录

场景

  • CDH6.3.2装好后,默认有Sqoop,而且环境变量都配好了

  • 因为当初装CDH时把mysql-connector-java.jar放到/usr/share/java/,所以Sqoop默认就能连上MySQL

  • 数据中台不只对接MySQL,还有其它数据源,不一定能直连,需要配置对应的数据库连接器

添加数据库驱动

cd /opt/cloudera/parcels/CDH/lib/sqoop/lib

把数据库连接器放到这,下面以SAP / HANA为例
1、下载驱动,我是借助DBeaver来下载的
2、找到驱动,并上传

  • 因为Sqoop支持直连MySQL,所以连MySQL时不需要配置--driver
    而某些数据库不能直连,连SAP / HANA时还要加上--driver com.sap.db.jdbc.Driver

补充

  • /opt/cloudera/parcels/CDH是软链,实际是CDH-6.3.2-1.cdh6.3.2.p0.1605554

  • /usr/bin/sqoop是软链
    实际是/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/bin/sqoop
    其中内容如下:

    实际执行/opt/cloudera/parcels/CDH/lib/sqoop/里的bin/sqoop

以上是关于CDH6之Sqoop添加数据库驱动的主要内容,如果未能解决你的问题,请参考以下文章

CentOS7部署CDH6.0.1大数据平台

大数据之非常详细Sqoop安装和基本操作

sqoop安装配置

如何将 mysql 连接器添加到 Sqoop 1.99.3

SQOOP安装及使用

SQOOP安装及使用