hadoop cdh 后启动群起脚本总是起不起来的一些坑

Posted 2022-04-24 rey888

　　　　最近都在流行大数据什么的，然后偶然之间加入了一个物联网的小公司，可以使用hadoop 来做数据分析，于是心中窃喜，可以有机会接触大数据了，从此走上人生巅峰赢取白富美。

　　　　可是成功的道路总不是一帆风顺滴，从我开始接触这玩意儿，到现在大概有一个多月了，但是我居然还在搭环境。。。我丢你老牟，这个hadoop的环境怎么这么复杂，这是人干的事？能不能像springboot 一样做一些简单化的配置就行呢？搞死我了。。

　　　　首先第一个问题：

　　　　　　因为启动haoop要启动好多相关联的东西比如说：

　　　　　　hadoop-daemon.sh start namenode

　　　　　　hadoop-daemon.sh start datanode

　　　　　　hadoop-daemon.sh start secondarynamenode

　　　　　　yarn-daemon.sh start resourcemanager

　　　　　　yarn-daemon.sh start nodemanager

　　　　　　mr-jobhistory-daemon.sh start historyserver

　　　　　　一个启动要启动这个多命令，你咋不上天呢？，我写命令 的时候写错了几个字就一直报错找不到主类异常，我顶你个肺，又没有详细的明细，搞得我查了半天以为是配置错了，搞半天是命令打错了。。。

　　　　第二个：

　　　　　　启动namenode没启动起来，然后报错一直报文件夹没有找到data这个文件夹，然后我创建了，不行，又少了一个文件夹，我又创建了一个。。结果我顶你个肺搞半天是namenode没有格式化，然后我又起来格式化，格式化不成功，又爆了一个错是说链接不上其他的节点然后我顶你个肺，我就ping了一下，ping德通啊。。是什么元婴呢？

　　　　　　于是我到网上各种找解决方案，终于找到了一个。。

　　　　　　解决方案一：

　　　　　　在各JournalNode节点上，输入以下命令启动journalnode服务：

　　　　　　sbin/hadoop-daemon.sh start journalnode:

　　　　　　然后格式化就没问题了

 

　　　　　　解决方案二：

　　　　　　HA模式第一次或删除格式化版本后格式化失败，报如上错误：

　　　　　　解决方案： 

　　　　　　先启动 ./start-dfs.sh
　　　　　　再进行 格式化，则成功

　　　　　　我用的是第二个解决方案，终于解决了，搞半天要先启动dfs才能格式化，我顶你个肺然后继续踩坑了。。我觉得我一定要征服hadoop因为如果不能走入潮流的就会被淘汰，所以我得做潮流中的嫩草儿嘻嘻