Redhat7系统配置阿里源失败问题及解决办法

Posted 2023-05-03

参考技术A

一、配置阿里源

第1步： 下载阿里源的配置文件

wget -O /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo

第2步： 更新镜像源

清除yum缓存

yum clean all

生成yum缓存

yum makecache

报错：

已加载插件：langpacks, product-id, subscription-manager This system is not registered to Red Hat Subscription Management. You can use subscription-manager to register.

http://mirrors.aliyun.com/centos/7Server/os/x86_64/repodata/repomd.xml: [Errno 14] HTTP Error 404 - Not Found

正在尝试其它镜像。

http://mirrors.aliyuncs.com/centos/7Server/os/x86_64/repodata/repomd.xml: [Errno 14] curl#7 - "Failed connect to mirrors.aliyuncs.com:80; 拒绝连接"

报错原因： Centos-Base.repo配置文件中的$releasever变量解析错误，导致整个URL地址错误。这种情况一般发生在Redhat系统安装Centos源（我的系统是Redhat 7）， " http://mirrors.aliyun.com/centos/ "，发现并无 7Server/目录。因此，应该是$releasever变量解析成了"7Server"，进而导致了错误的发生，正确的URL地址为 http://mirrors.aliyun.com/centos/7/os/x86_64/repodata/repomd.xml ，其中的"7"是指系统版本号。

三、解决办法

1.修改yum配置文件

vi /etc/yum.repos.d/CentOS-Base.repo

将全文中所有的 "$releasever" 字符串替换成 "7"，因为我的系统是7版本

输入 ":" 进入末行模式

然后输入%s/$releasever/7/g

保存并退出

2.再次更新镜像源

清除yum缓存

yum clean all

生成yum缓存

yum makecache

在修改配置文件后，执行yum makecache命令的时候还是出现了地址无法访问的报错信息，其实这个并不影响。如果不想看到报错信息的话，把aliyuncs部分信息删掉就可以了。

HDFS运行Balancer失败及问题解决办法

当前浏览器不支持播放音乐或语音，请在微信或其他浏览器中播放

1     文档编写目的

本文主要讲述如何解决HDFS运行Balancer提示“AnotherBalancer is running..”导致Balancer失败的问题。

 

测试环境：

操作系统版本为Redhat7.2

CM和CDH版本为5.11.2

HDFS已启用HA

 

文章目录结构：

    1.  文档编写目的

    2.  问题描述

    3.  解决方案

    3.1 问题解决思路

    3.2 问题解决步骤

    3.3 相关建议

  4.  总结

2     问题描述

运行HDFS的Balancer命令后，中止过该命令一次，再次运行Balancer命令出现如下报错：

Tue Jul 17 17:50:52 CST 2018 Current working directory:  /run/cloudera-scm-agent/process/10390-hdfs-BALANCER Launching one-off process: /usr/lib64/cmf/service/hdfs/hdfs.sh balancer -threshold  10.0 -policy DataNode Tue Jul 17 17:50:52 CST 2018 JAVA_HOME=/usr/java/jdk1.8.0_111/ using /usr/java/jdk1.8.0_111/ as JAVA_HOME using 5 as CDH_VERSION using /run/cloudera-scm-agent/process/10390-hdfs-BALANCER as CONF_DIR using  as SECURE_USER using  as SECURE_GROUP CONF_DIR=/run/cloudera-scm-agent/process/10390-hdfs-BALANCER CMF_CONF_DIR=/etc/cloudera-scm-agent unlimited 2018-07-17 17:50:52,829 INFO   [main] balancer.Balancer (Balancer.java:parse(832)) - Using a  threshold of 10.0 2018-07-17 17:50:52,832 INFO   [main] balancer.Balancer (Balancer.java:run(647)) - namenodes  = [hdfs://nameservice1] 2018-07-17 17:50:52,833 INFO   [main] balancer.Balancer (Balancer.java:run(648)) - parameters =  Balancer.Parameters [BalancingPolicy.Node, threshold = 10.0, max idle  iteration = 5, #excluded nodes = 0, #included nodes = 0, #source nodes = 0,  run during upgrade = false] 2018-07-17 17:50:52,833 INFO   [main] balancer.Balancer (Balancer.java:run(649)) - included nodes =  [] 2018-07-17 17:50:52,834 INFO   [main] balancer.Balancer (Balancer.java:run(650)) - excluded nodes =  [] 2018-07-17 17:50:52,834 INFO   [main] balancer.Balancer (Balancer.java:run(651)) - source nodes = [] Time Stamp                Iteration#  Bytes Already  Moved  Bytes Left To Move  Bytes Being Moved java.io.IOException: Another Balancer is running..  Exiting ... Jul 17, 2018 5:50:53 PM  Balancing  took 1.054 seconds Exit code: 252

异常信息提示为：”java.io.IOException: Another Balancer isrunning..  Exiting ...”

经过仔细检查，并未发现有任何运行Balancer的主机。

 

3     解决方案

3.1  问题解决思路

HDFS在运行Balancer的时候，会将运行Balancer的主机名写入到balancer.id这个文件里面，通过这个Mark File来检测Balancer是否运行，该文件存放在HDFS上的/system目录下。

3.2  问题解决步骤

1、查看/system目录下的balancer.id文件内容，内容为空，确实没有正在运行Balancer的主机

2、删除balancer.id这个文件

3、重新执行Balancer命令，可以正常执行数据均衡操作

4、查看balancer.id文件内容，与实际结果一致，即运行balancer的主机为bigdata2

 

3.3  相关建议

如果HDFS的Balancer在非正常情况下终止，建议在重新执行Balancer前，清除掉balancer.id这个文件。

 

 

4     总结

1、HDFS在运行Balancer的时候，会产生一个以“balancer.id”命名的Mark File，通过这个Mark File来监测Balancer的运行状况。

2、以“balancer.id”命名的Mark File存储了运行Balancer主机的主机名，位于HDFS的/system目录下，如果执行Balancer出现”java.io.IOException:Another Balancer is running..  Exiting...”这类异常问题，先查看“balancer.id”文件内容，检查是否有其他主机在运行Balancer，如果没有，则删除该文件，重新执行Balancer即可恢复正常。

3、如果是HDP集群，且HDFS由非HA转换为启用HA，那么出现该类问题有可能是遇见了AMBARI-13946这个Bug，Ambari 2.2.2及以上版本已修复，详见：

https://issues.apache.org/jira/browse/AMBARI-13946

 

参考文章：

http://mail-archives.apache.org/mod_mbox/hadoop-mapreduce-user/201601.mbox/[e-mail]%3E

https://stackoverflow.com/questions/35501920/hdfs-balancer-not-working

 

 

 

When your talent can’t support your ambition,
You should calm down and learn.
When your ability cannot realize you dreams,
You should practice with all your heart.
Ask yourself,
What kind of life you pursue.