sqoop 变量$conditions执行后怎么转换

Posted 2023-05-13

参考技术A 一.序言
简单分享个sqoop 从mysql 集群导入到hdfs hive-table 里面进行分析的例子。
sqoop1.4.6,hadoop2.7,hive1.2.1 ,因为 环境原因，sqoop 没有升级到2~。~

二.简单步骤
1.base_import.sh : 集中配置一些链接信息，和公共参数，并引入其他脚本执行
2.base_common.sh : 要导入表的基本信息，包含字段，分组 where 条件 等
3.run.sh : 循环执行模板，通过1，2脚本参数传入，进行执行
4.*.sql : hive 里面的 建表建库信息，最好提前建立

三.脚本
3.1 base_import.sh
Java代码
#!/bin/sh
# 执行,run.sh 和当前文件同级
base_home='/home/sh_dir/queue'
# 所有数据库信息
export username='admin'
export password='123'
export database_url='jdbc:mysql://1.1.1.1:3306'本回答被提问者采纳

Linux下怎么确定Sqoop安装目录？

Linux下怎么确定Sqoop安装目录？

Step1. 下载sqoop及mysqlconnector并解压

Step2. 将解压后的connector中的jar包拷贝到sqoop的lib目录下

修改bin目录下 configure-sqoop 文件：
注释掉hbase和 zookeeper检查，因为目前还没有启用hbase/zookeeper等hadoop上的组件

Step3. 设置环境变量
注意重新连接使环境变量生效！ 参考技术A whereis sqoop
然后你就明白了 参考技术B 这方面的话，可以去知数学院，各方面都还好。本回答被提问者采纳