Hadoop: 单节点集群配置

2023年2月27日 205次阅读 来源: kviccn

本文翻译自 Hadoop 的官方文档，原文 Hadoop: Setting up a Single Node Cluster

目的

本文介绍了如何快速的搭建一个 Hadoop 单机运行环境，以便你使用 MapReduce 和 Hadoop 分布式文件系统 (HDFS) 运行一些简单的作业。

前提

平台支持

  • GNU/Linux是产品开发和运行的平台。 Hadoop已在有2000个节点的GNU/Linux主机组成的集群系统上得到验证。
  • Windows 平台也支持 Hadoop，但后续步骤仅适用于 Linux。关于如何在 Windows 上配置 Hadoop 请看 这里。

所需软件

对 Linux 平台来说，所需软件如下：

  1. Java™，推荐使用的 Java 版本请参考 HadoopJavaVersions。
  2. ssh，并且 sshd 服务必须正常运行，以便用 Hadoop 脚本管理远端 Hadoop 守护进程。

安装软件

如果你的集群中尚未安装所需软件你必须先安装它们。

以 Ubuntu Linux 为例：

  1. 安装 Java
    参考 JDK 的正确安装姿势

  2. 安装 ssh

$ sudo apt-get install ssh
$ sudo apt-get install rsync

下载

在这里下载 Hadoop 的发行版。

运行 Hadoop 集群的准备工作

解压下载好的安装文件（我这里下载的是 hadoop-2.7.3.tar.gz）：

$ tar zxvf hadoop-2.7.3.tar.gz

编辑 etc/hadoop/hadoop-env.sh 文件，将 JAVA_HOME 修改为你的 Java 安装目录：

export JAVA_HOME="你的 Java 安装目录"

试试如下命令：

$ bin/hadoop

这将显示 hadoop 脚本的用法。

现在，准备工作已经做好了。你可以使用下面任意一种方法开始集群的搭建：

  • 本地（单机）模式
  • 伪分布式模式
  • 完全分布式模式

单机模式

Hadoop 默认作为一个独立的 Java 进程运行在非分布式模式下。这对调试来说很有帮助。

下面的这个例子演示了如何在单机模式下运行 Hadoop（所有操作路径均相对于 Hadoop 安装目录）：

// 创建 input 目录
$ mkdir input
// 复制一些文件到 input 目录作为输入
$ cp etc/hadoop/*.xml input
// 执行一个 mapreduce 作业，该作业将 input 目录下的所有文件作为输入，将匹配到模式 'dfs[a-z.]+' 的字符串作为输出
$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep input output 'dfs[a-z.]+'
// 查看输出结果
$ cat output/*

伪分布式模式

Hadoop 同样可以在一个节点以伪分布式模式运行，此时每个 Hadoop 守护进程分别以独立的 Java 进程运行。

配置

进行如下配置：
etc/hadoop/core-site.xml：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

etc/hadoop/hdfs-site.xml：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

设置 ssh 免密码登录

尝试输入以下命令：

$ ssh localhost

如果你在不输入密码的情况下无法通过 ssh 连接到 localhost 的话，请执行以下命令：

$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys

执行

接下来介绍了如何执行一个本地的 MapReduce 作业。

  1. 格式化文件系统：
$ bin/hdfs namenode -format
  1. 启动 NameNode 守护进程和 DataNode 守护进程：
$ sbin/start-dfs.sh

Hadoop 守护进程会将日志写入 $HADOOP_LOG_DIR 目录中（默认情况下是 $HADOOP_HOME/logs 目录）

  1. 通过 web 接口在浏览器中查看 Hadoop 的运行情况；默认可以通过如下地址访问：
  1. 在 HDFS 中创建目录，MapReduce 作业需要从这些目录中读取数据：
$ bin/hdfs dfs -mkdir /user
$ bin/hdfs dfs -mkdir /user/<username>
  1. 从本地上传文件到 HDFS 中：
$ bin/hdfs dfs -put etc/hadoop input
  1. 运行 Hadoop 提供的示例：
$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep input output 'dfs[a-z.]+'
  1. 将输出文件从 HDFS 中下载到本地并且检验结果是否正确：
$ bin/hdfs dfs -get output output
$ cat output/*

或者直接在 HDFS 上查看输出文件：

$ bin/hdfs dfs -cat output/*
  1. 完成之后可以通过如下命令停止守护进程：
$ sbin/stop-dfs.sh

以 YARN 架构运行

你只需进行很少的配置就可以以 YARN 架构在伪分布式模式下执行 MapReduce 作业。此外，ResourceManager 守护进程 和 NodeManager 守护进程也会启动。

下述步骤基于上一节中的 1 ～ 4 步。

  1. 进行如下配置：
    etc/hadoop/mapred-site.xml：
<configuration>
       <property>
           <name>mapreduce.framework.name</name>
           <value>yarn</value>
       </property>
</configuration>

etc/hadoop/yarn-site.xml：

<configuration>
       <property>
           <name>yarn.nodemanager.aux-services</name>
           <value>mapreduce_shuffle</value>
       </property>
</configuration>
  1. 启动 ResourceManager 守护进程 和 NodeManager 守护进程：
$ sbin/start-yarn.sh
  1. 在浏览器中查看 ResourceManager 是否正常运行；默认在 8088 端口：
  1. 执行 MapReduce 作业。
  2. 执行完毕可以通过如下命令停止守护进程：
$ sbin/stop-yarn.sh

完全分布式模式

请参考 Hadoop 完全分布式环境搭建

    原文作者：kviccn
    原文地址: https://www.jianshu.com/p/c0f4d30a50b9
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞