关于hadoop的nodemanager 。有可能是内存设置问题。或者是端口的问题

Posted 2023-05-08

nodemanager启动不了。
从日志上看。[code="java"]
2013-11-26 13:45:54,671 WARN org.apache.hadoop.yarn.server.nodemanager.containermanager.monitor.ContainersMonitorImpl: NodeManager configured with 8 G physical memory allocated to containers, which is more than 80% of the total physical memory available (1.2 G). Thrashing might happen.
org.apache.hadoop.yarn.server.nodemanager.containermanager.ContainerManagerImpl failed in state STARTED; cause: org.apache.hadoop.yarn.exceptions.YarnRuntimeException: java.net.BindException: Problem binding to [master:8041] java.net.BindException: Cannot assign requested address; For more details see: http://wiki.apache.org/hadoop/BindException
org.apache.hadoop.yarn.exceptions.YarnRuntimeException: java.net.BindException: Problem binding to [master:8041] java.net.BindException: Cannot assign requested address; For more details see: http://wiki.apache.org/hadoop/BindException
at org.apache.hadoop.yarn.factories.impl.pb.RpcServerFactoryPBImpl.getServer(RpcServerFactoryPBImpl.java:139)
at org.apache.hadoop.yarn.ipc.HadoopYarnProtoRPC.getServer(HadoopYarnProtoRPC.java:65)
[/code]
从日志上看，好像是说不能绑定master的8014端口。根据错误提示的http://wiki.apache.org/hadoop/BindException这个地址，去看，我的错误不符合该站点所描述的。

参考技术A 是不是端口占用了!
# netstat -ntupl
看下 被占用端口没!本回答被提问者采纳

Hadoop Nodemanager 和 Resourcemanager 未启动

【中文标题】Hadoop Nodemanager 和 Resourcemanager 未启动

【英文标题】：Hadoop Nodemanager and Resourcemanager not starting

【发布时间】：2013-11-02 08:24:34

【问题描述】：

我正在尝试在 Ubuntu 13.10 64 位上设置最新的 Hadoop 2.2 单节点集群。操作系统是全新安装的，我尝试过使用 java-6 64 位和 java-7 64 位。

按照this 的步骤并在失败后，从this 链接，我无法使用以下命令启动nodemanager 和resourcemanager：

sbin/yarn-daemon.sh start nodemanager
sudo sbin/yarn-daemon.sh start nodemanager

和资源管理器

sbin/yarn-daemon.sh start resourcemanager
sudo sbin/yarn-daemon.sh start resourcemanager

两者都失败并出现错误：

starting nodemanager, logging to /home/hduser/yarn/hadoop-2.2.0/logs/yarn-hduser-nodemanager-ubuntu.out
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/service/CompositeService
    at java.lang.ClassLoader.defineClass1(Native Method)
    at java.lang.ClassLoader.defineClass(ClassLoader.java:788)
    at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
    at java.net.URLClassLoader.defineClass(URLClassLoader.java:447)
    at java.net.URLClassLoader.access$100(URLClassLoader.java:71)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:361)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:354)

资源管理器失败并出现类似错误：NoClassDefFoundError

我已经尝试了很多小时，并且尝试了 Google，但没有任何效果。请让我知道我错过了什么。 This 和 this 在搜索解决方案时链接无效。

我尝试过使用 java-6 和 java-7 64 位，但没有成功。

编辑

接受的答案设法摆脱了异常，所有守护程序现在都在启动，但在运行作业时仍然存在异常，在this 问题中提到

【问题讨论】：

我希望对 hadoop 有深入了解的人回答这个问题。在我这边，请检查您是否可以在阅读后找到任何东西 - javareferencegv.blogspot.com/2013/10/…

【参考方案1】：

这些说明已经过时，似乎反映了非常早期的 alpha 版本之一。进行此更改：YARN_HOME -> HADOOP_YARN_HOME。环境变量不久前被重命名。这应该会为您解决问题。

您可以使用 Apache Ambari 1.4.1，它可以简化 Hadoop 及其许多生态系统组件的安装。您可以查看http://docs.hortonworks.com/#2.0 了解如何使用 Ambari 进行安装。

【讨论】：

谢谢，守护进程现在正在启动，但运行作业时出现异常。请看我的另一个问题：***.com/questions/19642862/…

【参考方案2】：

您应该看到这是解决方案，添加 $HADOOP_HOME/share/ 及其子目录。 http://www.srccodes.com/p/article/46/noclassdeffounderror-org-apache-hadoop-service-compositeservice-shell-exitcodeexception-classnotfoundexception