Hadoop初始化和测试

  • Hadoop添加环境变量

《Hadoop初始化和测试》 image.png
《Hadoop初始化和测试》 image.png

  • 初始化文件系统
    类似于第一次使用优盘的时候,需要格式化。

输入命令

《Hadoop初始化和测试》 image.png

出现如下即成功格式化

《Hadoop初始化和测试》 image.png

  • 启动Hadoop

《Hadoop初始化和测试》 image.png

经过三四次输入yes,密码后。。。。
如果成功

《Hadoop初始化和测试》 image.png

ResourceManager:资源管理进程,是yarn的老大。
NodeManager:yarn里面的小组长
NameNode:HDFS的老大。伪分布式中就有一个。集群中肯定有多个,为了安全
DataNode:HDFS的小弟,负责存放数据的仓库
SecondaryNameNode:是NameNode的助理,主要用来同步元数据。但是并不是NameNode的热备。只有在hadoop1和hadoop2的伪分布式才有。

  • web查看相应状态

    • HDFS管理界面

      《Hadoop初始化和测试》

    • yarn管理界面

《Hadoop初始化和测试》 image.png

  • 测试hdfs
    • 上传文件到hdfs

      《Hadoop初始化和测试》

《Hadoop初始化和测试》 image.png

  • 下载数据

《Hadoop初始化和测试》 image.png

  • wordcount例子
    数据输入和输出都是在hdfs中的

《Hadoop初始化和测试》 image.png

    原文作者:jose_dl
    原文地址: https://www.jianshu.com/p/b134e59ce562
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞