大数据入门第十二天——sqoop入门

Posted ---江北

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了大数据入门第十二天——sqoop入门相关的知识,希望对你有一定的参考价值。

一、概述

  1.sqoop是什么

    从其官网:http://sqoop.apache.org/ 

  Apache Sqoop(TM) is a tool designed for efficiently transferring bulk data between Apache Hadoop and structured datastores such as relational databases

    中文来说,就是:

sqoop是apache旗下一款Hadoop和关系数据库服务器之间传送数据的工具。

  导入数据mysql,Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统;

  导出数据:从Hadoop的文件系统中导出数据到关系数据库

    简而言之,sqoop是一个数据迁移工具!

  2.主要原理  

    将导入或导出命令翻译成mapreduce程序来实现

    在翻译出的mapreduce中主要是对inputformatoutputformat进行定制

  

以上是关于大数据入门第十二天——sqoop入门的主要内容,如果未能解决你的问题,请参考以下文章

大数据入门第二十五天——logstash入门

大数据入门第十七天——storm上游数据源 之kafka详解入门

大数据入门第十九天——推荐系统与mahout入门与概述

大数据入门第二十二天——spark自定义分区排序与查找

大数据入门第十四天——Hbase详解入门与安装配置

大数据入门第二十天——scala入门scala基础