CDH商业版本的搭建

Posted 曹军

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了CDH商业版本的搭建相关的知识,希望对你有一定的参考价值。

为什么使用CDH版本?

  这个主要考虑到兼容性。

  下载地址:http://archive.cloudera.com/cdh5/cdh/5

  

最新的CDH公司的hadoop版本:

  

 

一:准备工作

1.步骤

  1)hadoop

    -》下载解压
    -》修改配置文件
    -》hadoop-env
      JAVA_HOME
    -》core-site
      fs.defaultFS
      hadoop.tmp.dir
    -》hdfs-site
      dfs.replication
      permission
    -》mapred-site
      mapreduce.frame.work
      historyserver
    -》yarn-site
      mapreduce-》shuffle
      resourcemanager地址:0.0.0.0
      日志聚集
    -》yarn-env
      JAVA_HOME
    -》slaves
      datanode/nodemanager hostname
    -》格式化
      bin/hdfs namenode -formatf
    -》启动

  2)hive
    -》下载解压
    -》创建数据仓库
      /user/hive/warehouse
    -》修改配置
    -》hive-env
      HADOOP_HOME
      HIVE_CONF_DIR
    -》log4j
      -》日志目录
    -》hive-site
      -》连接mysql
        -》数据库地址
        -》连接驱动
        -》用户名
        -》密码
      -》显示当前数据库
      -》显示表头
    -》把mysql连接驱动放入lib
    -》启动

  3)sqoop

    -》解压

    -》修改*env.sh

    -》加载驱动

    -》驱动

 

二:安装Hadoop

1.新建目录cdh-5.3.6,并修改权限

  

 

 2.解压

  

 

3.修改/etc/profile

  

 

4.配置*env.sh中的JAVA_HOME

 

5.配置core-site.xml环境

  

 

6.配置hdfs-site.xml环境

  

 

7.配置mapred-site.xml

  

 

8.配置slaves

  

 

9.配置yarn-site.xml

  

 

10.格式化

  

 

11.启动

  

 

三:hive

1.解压

  

 

2.在HDFS上创建数据仓库并修改权限

  在hadoop主目录下创建并修改权限。

  

 

3.启用一些配置

  

 

 4.配置env.sh

  

 

5.log4j的配置

  

 

6.hive-site.xml的配置

  

 

7.加载驱动

  

 

 8.启动hive之前mysql的内容

  

 

 9.启动

  

 

10.出现新的数据库

  

 

四:sqoop

1.概述

  用于关系型数据库与hadoop之间的数据转换。

  底层是mapreduce模板,通过不同的参数,封装打包成jar,提交给yarn。

  导入与导出是基于hdfs而言。

 

2.解压到cdh-5.3.6

 

3.拷贝相关的配置文件

  

4.配置sqoop.env.sh

  

 

5.加载驱动

  

 

6.简单使用

  

 

以上是关于CDH商业版本的搭建的主要内容,如果未能解决你的问题,请参考以下文章

QT软件开发之入门基础-搭建开发环境

CDH6.3.2 详细介绍及使用

2021年大数据Hadoop:Hadoop发行版公司

大数据Hadoop版本介绍

CDH,HDP,Apache Hadoop之间的关系

02搭建cdh版本控制