sqoop安装与使用

Posted bjxdd

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了sqoop安装与使用相关的知识,希望对你有一定的参考价值。

https://blog.csdn.net/Gamer_gyt/article/details/55225700  sqoop1.0 与sqoop2.0的比较(两者差别比较大)。


参考文档:https://blog.csdn.net/weixin_43241054/article/details/89036669

下载软件
版本 sqoop-1.99.7-bin-hadoop200

编辑环境变量

hadoop namenode 节点上编辑(112)
vi /etc/profile

export SQOOP_HOME=/home/hadoop/sqoop-1.99.7-bin-hadoop200
export CATALINA_HOME=$SQOOP_HOME/server
export PATH=$SQOOP_HOME/bin:$PATH

修改Hadoop下的core-site.xml文件
<property>
  <name>hadoop.proxyuser.hadoop.hosts</name>
  <value>*</value>
</property>
<property>
  <name>hadoop.proxyuser.hadoop.groups</name>
  <value>*</value>
</property>

/home/hadoop/sqoop-1.99.7-bin-hadoop200/server/lib/guava-27.0-jre.jar jar 包也要替换 ,否则会无法启动 报错 【java.lang.NoSuchMethodError com.google.common.base.Preconditions.checkArgument】

=============================================
参考二
https://www.cnblogs.com/mowei/articles/6760333.html

需要在Hadoop的yarn-site.xml 这个配置文件中增加以下属性
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
修改了yarn-site.xml后重启HDFS即可。
如果,不加上面的属性,会产生什么问题呢?
可能在数据迁移的过程中出现“Aggregation is not enabled”的问题.

 

set server --host master --port 12000 --webapp sqoop


create job -f sqooplinkbgdmysqldb -t sqooplinkhdfs

hdfs dfs -mkdir /sqphdfsdata/dh_call_info2/datajob1001

status job -n sqpjob1001

start job -name sqpjob1001 -s

 

以上是关于sqoop安装与使用的主要内容,如果未能解决你的问题,请参考以下文章

Sqoop数据分析引擎安装与使用

Sqoop--安装配置

sqoop的安装和使用

SQOOP 可以与自定义 libpath 一起使用吗?

大数据学习之十五——sqoop的安装和使用

利用sqoop完成数据导入导出