集群常见错误解决方案

Posted 2023-03-18

参考技术A 解决方法：zookeeper的IP要配对 

解决方法:先安装好hadoop 

解决方法：host配置正确，/etc/sysconfig/network    /etc/hosts    /etc/sysconfig/network-scripts/ifcfg-eth0 

解决方法：SSH配置错误导致，主机名一定要严格匹配，重新配置ssh免密码登录 

5、建议：不要随意格式化HDFS，这会带来数据版本不一致等诸多问题，格式化前要清空数据文件夹 

解决方法：sshd被关闭或没安装导致，which sshd检查是否安装，若已经安装，则sshd restart，并ssh 本机hostname，检查是否连接成功 

解决方法：在yarn-site.xml中增加相应配置，以支持日志聚合 

解决方法：yarn-lient模式出现的异常，暂时无解 

解决方法：windows系统不能解析域名所致，把hosts文件hostname复制到windows的hosts中 

10、建议：HDFS文件路径写法为：hdfs://master:9000/文件路径，这里的master是namenode的hostname,9000是hdfs端口号。 

解决方法：将 http://:19888/jobhistory/logs  配置到yarn-site.xml中，重启yarn和JobHistoryServer 

解决方法：namonode节点终端执行：hdfs dfs -chmod -R 755 / 

13、建议：提交到yarn cluster的作业不能直接print到控制台，要用log4j输出到日志文件中 

解决方法：1.把UTF改成小写utf-8    2.设置编码那行有空格 

解决方法：资源不能分配过大,或者没有把.setMaster("local")去掉

解决方法：通过三节点zookeeper集群和yarn-site.xml配置文件完成Yarn HA 

解决方法：恢复Yarn Http默认端口8088 

解决方法：配置文件不正确，例如hostname不匹配等 

解决方法：find / -type f -size +10G  

解决方法：运行指令hdfs balancer -Threshold 3 或者 运行 start-balancer.sh 脚本格式：$Hadoop_home/bin/start-balancer.sh -threshold，参数3是比例参数，表示3%，也就是平各个DataNode直接磁盘使用率偏差在3%以内 

21、建议：数据倾斜只发生在shuffle过程，可能触发shuffle操作的算子有：distinct  groupByKey  reduceByKey  aggregateByKey  join  cogroup  repartition等 

解决方法：yarn-site.xml配置有问题，检查并规范各项配置 

解决方法：Hadoop 2.x中YARN系统的服务日志包括ResourceManager日志和各个NodeManager日志，它们的日志位置如下：ResourceManager日志存放位置是Hadoop安装目录下的logs目录下的yarn-*-resourcemanager-*.log，NodeManager日志存放位置是各个NodeManager节点上hadoop安装目录下的logs目录下的yarn-*-nodemanager-*.log 

24、建议：小于128M的小文件都会占据一个128M的BLOCK，合并或者删除小文件节省磁盘空间 

解决方法：1）清除hadoop数据目录中用户缓存文件：cd /data/hadoop/storage/tmp/nm-local-dir/usercache;du -h;rm -rf `find  -type f -size +10M`;  2）清理Linux文件系统中的垃圾数据 

解决方法：cd /etc/profile.d;在这里新建相应配置脚本 

解决方法：未启动的节点缺少yarn相关包，要保持所有节点jar包一致 

     fs.trash.interval 

     2880 

     HDFS垃圾箱设置，可以恢复误删除，配置的值为分钟数，0为禁用 

恢复文件执行 hdfs dfs -mv  /user/root/.Trash/Current/误删文件    /原路径 

解决方法：Linux脚本修改后实时生效，务必在脚本全部执行完再修改，以免产生副作用