CDH中oozie 定时调度sqoop job

Posted 2022-03-10 河南骏

在数据开发中，由于数据量非常的大，有时候需要将关系型数据库（Oracle/Postgresql/mysql等）中的表导入到hdfs中进行分布式存储。本文就oozie定时调用sqoop job从oracle库中增量导入数据至hive表具体操作记录一下：

首先，准备工作是在HDFS上创建oozie job需要的workflow.xml,hive-site.xml,coordinator.xml和lib文件夹，比如我的是在/user/oozie/workflow/sqoop2hive下面创建的

Lib文件下，存放的是我们的连接关系型数据库的驱动：mysql-connector-java.jar,ojdbc6.jar

workflow.xml是配置的工作流，如下：

<workflow-app xmlns="uri:oozie:workflow:0.2" name="sqoop-to-hive">
    <start to="sqoop2hive"/>
    <action name="sqoop2hive">
        <sqoop xmlns="uri:oozie:sqoop-action:0.2">
            <job-tracker>$jobTracker</job-tracker>
            <name-node>$nameNode</name-node>
            <configuration>
                <property>
                    <name>sqoop.metastore.client.record.password</name>
                    <value>true</value>
                </property>

                <property>
                    <name>hive.metastore.local</name>
                    <value>true</value>
                </property>
                <property>
                  <name>hive.metastore.uris</name>
                  <value>thrift://cloud171:9083</value> 
                </property>
                <property>
                  <name>javax.jdo.option.ConnectionURL</name>
                  <value>jdbc:oracle://188.188.2.175:1521/orcl?createDatabaseIfNotExist=true</value>
                </property>
                <property>
                  <name>javax.jdo.option.ConnectionDriverName</name>
                  <value>com.mysql.jdbc.Driver</value>
                </property>
                <property>
                  <name>javax.jdo.option.ConnectionUserName</name>
                  <value>hive</value>
                </property>
                <property>
                  <name>javax.jdo.option.ConnectionPassword</name>
                  <value>hive</value>
                </property>
                <property>
                  <name>hive.metastore.warehouse.dir</name>
                  <value>/user/hive/warehouse</value>
                </property>
            </configuration>

            <command>job --meta-connect jdbc:hsqldb:hsql://cloud171:16000/sqoop --exec sqoop2hive_job</command>
        </sqoop>
        <ok to="end"/>
        <error to="fail"/>
    </action>
    <kill name="fail">
        <message>Sqoop failed, error message[$wf:errorMessage(wf:lastErrorNode())]</message>
    </kill>
    <end name="end"/>
</workflow-app>

把hive-site.xml也放进来即可，这里不再细说

下面是把定时调度的coordinator.xml文件配置如下：这里是配置10分钟调用一次sqoop job

<coordinator-app name="sqoop2hive-coord" frequency="$coord:minutes(10)" start="$start" end="$end" timezone="UTC" xmlns="uri:oozie:coordinator:0.2">
    <action>
        <workflow>
            <app-path>$workflowAppUri</app-path>
            <configuration>
                <property>
                    <name>jobTracker</name>
                    <value>$jobTracker</value>
                </property>
                <property>
                    <name>nameNode</name>
                    <value>$nameNode</value>
                </property>
            </configuration>
        </workflow>
    </action>
</coordinator-app>

下面是job.properties,具体配置如下： 这个job.properties是放在本地的，不是hdfs上

nameNode=hdfs://cloud171:8020
jobTracker=cloud171:8032
oozie.libpath=$nameNode/user/oozie/share/lib/lib_20170401085707/sqoop  #根据你的环境对应修改
oozie.use.system.libpath=true
start=2017-10-10T07:30Z
end=2017-11-06T08:00Z
oozie.coord.application.path=$nameNode/user/oozie/workflow/sqoop2hive  #放上面三个文件的路径
workflowAppUri=$nameNode/user/oozie/workflow/sqoop2hive   #同上

注意1：其次需要启动sqoop metastore,否则会报错：ERROR tool.JobTool: I/O error performing job operation: java.io.IOException: Exception creating SQL connection

sqoop metastore

注意2：关于sqoop job执行的时候，需要输入数据库的密码，需要在sqoop-site.xml中设置sqoop.metastore.client.record.password为true，取消注释即可

下面再说一下sqoop job 的命令：

sqoop job \\
--meta-connect jdbc:hsqldb:hsql://cloud171:16000/sqoop \\  #sqoop 工作流和job是配置在HSQL里的，默认端口是16000
--create sqoop2hive_job \\
--（空格）import --connect jdbc:oracle:thin:@188.188.2.175:1521:orcl \\
--username scott \\
--password tiger  -m 1 \\
--table EMP \\
--hive-import --hive-table cust \\
--incremental append --check-column EMPNO --last-value 0

上面的是一个数据库增量更新，创建sqoop job ：sqoop2hive_job
sqoop job的删除：

sqoop job --meta-connect jdbc:hsqldb:hsql://cloud171:16000/sqoop --delete job名称

下面呢就是调用oozie了：

oozie job -oozie http://cloud171:11000/oozie -config /opt/cloudera/parcels/CDH-5.10.0-1.cdh5.10.0.p0.41/lib/sqoop/job.properties（本地job.properties的路径） -run

接下来会产生一个编号，在oozie的web UI里面可以看到。这里是直接的操作流程，有些粗糙,下面再补充一下sqoop job的部分

=========================================================================

sqoop支持两种增量导入模式，
 一种是 append，即通过指定一个递增的列，比如：
--incremental append  --check-column num_iid --last-value 0

varchar类型的check字段也可以通过这种方式增量导入（ID为varchar类型的递增数字）：

--incremental append  --check-column ID --last-value 8
另种是可以根据时间戳，比如：
--incremental lastmodified --check-column created --last-value '2012-02-01 11:0:00'
就是只导入created 比'2012-02-01 11:0:00'更大的数据。