如何使用云容器搭建基于CentOS7的Hadoop2.x伪分布式环境（CSDN开发者云平台使用初体验）

Posted 2022-06-14 Maynor学长

文章目录

• • 前言
  • CSDN开发者云平台
  • 白piao云主机
  • 云容器购买指南
  • • 创建过程
  • 安装Hadoop2.x
  • • 详细安装步骤如下：
    • • 我们先开始配置java环境
      • hadoop2.x(2022.06.12更新)
      • 接下来需要利用vim来操作core-site 和 hdfs-site
      • 踩坑：
  • 验证成果
  • 保留节目：使用CSDN云容器创建多集群做实验
  • 测评优点
  • 测评不足
  • 总结

前言

前不久CSDN联合国内顶级云厂商，共同为开发者提供稳定便宜的云服务，送了学长两张优惠券，一张云容器，一张云主机。恰好最近在学习某硅谷的SeaTunnel课程需要用到主机做实验，使用本地的还需要重头安装VMware，有诸多不便，于是想试试CSDN的云容器服务。

CSDN开发者云平台

目前CSDN开发者云平台主要有如下资源：
（1）云容器 快速构建学习、
（2）实验容器环境 云主机 稳定、
（3）安全的弹性计算服务 云磁盘 高性能的、
（4）弹性块存储服务 、
（5）数据库 可靠易用免维护的数据服务、
（6）云存储 大规模分布式对象存储服务。
其中我个人用的最多的是云主机。

白piao云主机

送了40元优惠券仅限云主机1核1GB1MB1个月

云容器购买指南

CSDN 云容器通过深度融合新一代云原生技术，提供以容器为核心的高性能 Kubernetes 容器服务，助力用户快速构建学习、实验容器环境。同时有效控制使用成本，只需要支付远低于市场价的费用就可以全年不限次数使用10核10GB的容器资源。

产品优势

仅需支付相同规格服务器5%-10%的费用，就能全年不限次数使用容器服务。

产品类型

云容器实例：一个容器实例目前有 CentOS7 和Ubuntu16两种操作系统可以供选择，同时提供多种规格可供选择

简单易用

提供简单易用的web界面，方便用户一键创建多台容器、登录管理容器、上传下载文件。

存储管理

支持创建容器时同时自动挂载云存储服务，多个容器间可以共享云存储服务，解决容器状态存储问题。

实验数据集

提供常用软件安装包及常用实验数据集，而且直接挂载到容器指定目录，免去用户查找、下载实验资源，让用户更专注实验流程。

使用时间

会员有效期内，不限使用次数。

适用场景

体验真实云场景

秒级构建云环境，快速模拟真实生产场景。用户可以从默认提供的公共存储软件包快速安装常用软件，构建常用开发部署环境。

随时随地做实验

快速创建多台容器，真实还原分布式场景，更全面的对分布式场景进行实验测试。例如mysql主从同步、kafka集群安装使用、Hadoop集群安装使用、Flink集群安装使用等实验。

会员使用规则

购买即同意《开发云服务协议》(opens new window)

【配额范围】：云容器规格配额为10核10GB内存，可根据实际需求开通并使用。

【使用时间】：会员有效期内，不限使用次数。

【使用限制】：云容器主要是提供给用户进行实验或学习，无法用于生产，需实名认证后才能正常使用。

【特别说明】：单次实验或学习时长为72小时，超过72小时后，云容器将自动销毁，使用期间请留意倒计时。

创建过程

创建1个2核4G的容器。

这里我踩了一个小坑，直接创建10核10G的容器，主机一直连接不成功，后来改成2核4G连接成功，可能是csdn考虑到要用来做Hadoop集群、Flink集群等实验，需要使用多集群默认了不能创建10核10G。

jps命令没有，先安装一下。

命令如下：

yum install java-1.8.0-openjdk.x86_64

yum install java-1.8.0-openjdk-devel.x86_64

安装Hadoop2.x

详细安装步骤如下：

我们先开始配置java环境

首先下载java的jdk

wget https://download.java.net/openjdk/jdk8u41/ri/openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz

然后解压

tar -zxvf openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz

移动位置并且配置java路径

mv java-se-8u41-ri/ /usr/java8
echo 'export JAVA_HOME=/usr/java8' >> /etc/profile
echo 'export PATH=$PATH:$JAVA_HOME/bin' >> /etc/profile
source /etc/profile

检查是否安装成功

java -version

这是理想情况，若安装成功会出现如下结果

hadoop2.x(2022.06.12更新)

wget --no-check-certificate https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.10.1/hadoop-2.10.1.tar.gz

tar -zxvf hadoop-2.10.1.tar.gz -C /opt/
mv /opt/hadoop-2.10.1 /opt/hadoop

配置地址

echo 'export HADOOP_HOME=/opt/hadoop/' >> /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/bin' >> /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/sbin' >> /etc/profile
source /etc/profile

配置yarn和hadoop

echo "export JAVA_HOME=/usr/java8" >> /opt/hadoop/etc/hadoop/yarn-env.sh
echo "export JAVA_HOME=/usr/java8" >> /opt/hadoop/etc/hadoop/hadoop-env.sh

查看Hadoop 安装情况

hadoop version

若出现上图情况，则说明安装成功

接下来需要利用vim来操作core-site 和 hdfs-site

vim /opt/hadoop/etc/hadoop/core-site.xml

进入vim环境

按下i（insert）修改

光标移动至configuration之间，复制如下的信息

<property>
        <name>hadoop.tmp.dir</name>
        <value>file:/opt/hadoop/tmp</value>
        <description>location to store temporary files</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>

然后按下esc，停止修改，然后打":wq"（实际无“”）退出vim修改

同理操作hdfs-site

vim /opt/hadoop/etc/hadoop/hdfs-site.xml

<property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/opt/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/opt/hadoop/tmp/dfs/data</value>
    </property>

配置master和slave连接，运行如下指令，并且一直回车，直至出现如下图

ssh-keygen -t rsa 

运行如下代码

cd .ssh
cat id_rsa.pub >> authorized_keys

启动Hadoop

hadoop namenode -format
start-dfs.sh
start-yarn.sh

踩坑：

ERROR: but there is no YARN_NODEMANAGER_USER defined. Aborting operation

这里踩了一个小坑，

解决方案：

https://blog.csdn.net/ystyaoshengting/article/details/103026872

查看是否配置成功

jps

成功图

验证成果

起初HDFS没有文件所以无任何显示

上传yum日志到HDFS系统中，可以看到系统上有文件

保留节目：使用CSDN云容器创建多集群做实验

用CSDN云容器创建多集群暂时未试过，小伙伴们又兴起可以做一做
csdn有丰富的教程，按照教程一步步实现想必并不困难，这里贴出其中一个教程。
https://blog.csdn.net/code__online/article/details/80178032

测评优点

（1）正如文档写的提供简单易用的web界面，方便用户一键创建多台容器、登录管理容器、上传下载文件。可以随时随地搭建集群做实验

（2）仅需支付相同规格服务器5%-10%的费用，就能全年不限次数使用容器服务。

（3）容器实例目前有 CentOS7 和Ubuntu16两种操作系统可以供选择，对我来说够用了。

（4）支持创建容器时同时自动挂载云存储服务，多个容器间可以共享云存储服务，解决容器状态存储问题。

测评不足

（1）提供常用软件安装包及常用实验数据集，这个在实际操作中并没有看到有，也许是学长没找到或者藏的太深。

（2）超过72小时自动销毁也让很多东西受到限制，

（3）建议多关联操作文档，这也是CSDN一大优势（相关详细的文章很多），像Mysql主从同步、kafka集群安装使用、Hadoop集群安装使用、Flink集群安装使用的文档可以放在一边，方便开发者看着一步步实现操作。

总结

对于刚刚推出的云服务有不足之处，CSDN开发者云的优势在于用户基数大，有刚性的使用需求，同时在CSDN发表的文章本就很完善，希望在后面的不断优化中推出更完善的服务。