Hadoop|启动yarn及在yarn上运行mapreduce

YARN on Single Node

修改yarn环境配置文件yarn-env.sh

image.png

修改yarn配置文件yarn-site.xml

image.png

配置yarn服务地址及HDFS地址

image.png

启动yarn的resourcemanager和nodemanager节点

命令:sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager

image.png

查看yarn服务器web页面端口为8088

image.png

修改配置文件mapred-env.sh

image.png

重新命名mapred-site.xml.template

image.png

在mapred-site.xml文件中添加yarn值,表示在yarn上运行

image.png

运行yarn前删除输出目录,要不会报错

bin/hdfs dfs -rm -R /user/beifeng/mapreduce/wordcount/output

image.png

运行mapReduce程序

    原文作者:MapReduce
    原文地址: https://yq.aliyun.com/articles/510298
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞