sqoop安装与使用

Posted 2020-11-26 bjxdd

https://blog.csdn.net/Gamer_gyt/article/details/55225700  sqoop1.0 与sqoop2.0的比较（两者差别比较大）。

参考文档：https://blog.csdn.net/weixin_43241054/article/details/89036669

下载软件
版本 sqoop-1.99.7-bin-hadoop200

编辑环境变量

hadoop namenode 节点上编辑（112）
vi /etc/profile

export SQOOP_HOME=/home/hadoop/sqoop-1.99.7-bin-hadoop200
export CATALINA_HOME=$SQOOP_HOME/server
export PATH=$SQOOP_HOME/bin:$PATH

修改Hadoop下的core-site.xml文件
<property>
  <name>hadoop.proxyuser.hadoop.hosts</name>
  <value>*</value>
</property>
<property>
  <name>hadoop.proxyuser.hadoop.groups</name>
  <value>*</value>
</property>

/home/hadoop/sqoop-1.99.7-bin-hadoop200/server/lib/guava-27.0-jre.jar jar 包也要替换 ，否则会无法启动 报错 【java.lang.NoSuchMethodError com.google.common.base.Preconditions.checkArgument】

=============================================
参考二
https://www.cnblogs.com/mowei/articles/6760333.html

需要在Hadoop的yarn-site.xml 这个配置文件中增加以下属性
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
修改了yarn-site.xml后重启HDFS即可。
如果，不加上面的属性，会产生什么问题呢？
可能在数据迁移的过程中出现“Aggregation is not enabled”的问题.

 

set server --host master --port 12000 --webapp sqoop

create job -f sqooplinkbgdmysqldb -t sqooplinkhdfs

hdfs dfs -mkdir /sqphdfsdata/dh_call_info2/datajob1001

status job -n sqpjob1001

start job -name sqpjob1001 -s