使用Hadoop 2.7.4资源问题配置Yarn

2023年4月25日 181次阅读

我已按照此
tutorial配置了hadoop 2.7.4.DataNode,NameNode和SecondaryNameNode正常工作.

但是当我运行yarn时,NodeManager会显示以下消息

org.apache.hadoop.yarn.exceptions.YarnRuntimeException:
org.apache.hadoop.yarn.exceptions.YarnRuntimeException: Recieved
SHUTDOWN signal from Resourcemanager ,Registration of NodeManager
failed, Message from ResourceManager: NodeManager from localhost
doesn’t satisfy minimum allocations, Sending SHUTDOWN signal to the
NodeManager.

我的系统有8个CPU,8 GB RAM.如何使用这些资源配置纱线？我找到了很多如this,但找不到解决我问题的任何解决方案.

最佳答案 我在课程中遇到了同样的问题.我们使用的是具有2个内核的Amazon虚拟机.

在yarn-site.xml中进行了各种修改后,我们运行了NodeManager,设置了以下属性

<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>4096</value>
</property>

<property>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
    <value>2</value>
</property>

在您的情况下,您可能需要建立8个虚拟核心.

点赞