Hadoop 2.7.3 源码编译+单机及分布式部署

2023年12月19日 278次阅读 来源: SmileySure

我们可以选择官方编译好的Hadoop进行安装，但是自己机器或者公司内部其他版本的Hadoop最好通过自己编译来进行。

源码构建

环境：

  • Ubuntu(Unix)
  • Java 1.7+
  • Maven 3.0 or later
  • ProtocolBuffer 2.5.0
  • CMake 2.6 + （native code）
  • Zlib devel (native code)
  • 联网

工具准备

  1. 首先从GitHub下载Hadoop源码：

  2. 解压到任意文件夹 tar -zxvf

  3. 安装JDK-1.7

    $ sudo apt-get purge openjdk*
$ sudo apt-get install software-properties-common
$ sudo add-apt-repository ppa:webupd8team/java
$ sudo apt-get update
$ sudo apt-get install oracle-java7-installer

  4. 安装Maven

    $ sudo apt-get -y install maven

  5. 安装编译Native Code(本机代码)需要的组件

    $ sudo apt-get -y install build-essential autoconf automake libtool cmake zlib1g-dev pkg-config libssl-dev

  6. 安装ProtocolBuffer 2.5.0

    $ sudo apt-get -y install libprotobuf-dev protobuf-compiler

从源码构建

切换到Hadoop源码根目录

$ mvn clean #清理mvn

有多种方式构建，这里我们选择不带源码的二进制发行版（binary distribution）,编译成本机代码。

$ mvn package -Pdist,native -DskipTests -Dtar #使用maven 进行构建

这里视网络情况和机器性能不等编译时间也不同。因为maven需要向网络请求依赖库，构建完成后显示

[INFO] BUILD SUCCESS

这时在Hadoop源码根目录下切换到

$ cd ./hadoop-dist/target

找到Hadoop-2.7.3目录，我们需要的编译构建好的Hadoop二进制文件就在这里啦。

软件结构

total 120
drwxr-xr-x 2 root root  4096 9月   5 19:17 bin #Hadoop组件命令，包涵Windows的cmd
drwxr-xr-x 3 root root    19 9月   5 19:17 etc #Hadoop配置文件
drwxr-xr-x 2 root root   101 9月   5 19:17 include #对外提供的编程库头文件（具体动态库和静态库在lib目录中），这些头文件均是C++定义的，通常用于C++程序访问HDFS或者编写MR程序
drwxr-xr-x 3 root root    19 9月   5 19:17 lib #该目录提供了对外编程的静态库和动态库，与include目录下的头文件结合使用（并不是一些依赖jar包）
drwxr-xr-x 2 root root  4096 9月   5 19:17 libexec #各个服务所对应的shell配置文件所在目录，可用于配置日志输出目录、启动参数（比如JVM参数）等基本信息
-rw-r--r-- 1 root root 84854 9月   5 19:17 LICENSE.txt
drwxr-xr-x 3 root root  4096 9月  19 02:24 logs #日志文件
-rw-r--r-- 1 root root 14978 9月   5 19:17 NOTICE.txt
-rw-r--r-- 1 root root  1366 9月   5 19:17 README.txt
drwxr-xr-x 2 root root  4096 9月   9 03:49 sbin #对Hadoop组件操作的shell文件
drwxr-xr-x 4 root root    29 9月   5 19:17 share #hadoop 各个模块编译后的jar包所在目录,以及文档所在目录

单机部署

参考Single Node Setup

  1. 安装ssh和rsync

    $ sudo apt-get install ssh
$ sudo apt-get install rsync

  2. 将刚刚编译好的hadoop-2.7.3文件拷到想安装的目录下，配置 etc/hadoop/hadoop-env.sh文件中的JAVA_HOME为

     # set to the root of your Java installation
  export JAVA_HOME=/usr/java/latest

  3. 尝试运行bin/hadoop看能否正常输出，同时可以运行

    $ ./bin/hadoop version

    查看版本和编译情况

  4. 按照步骤进行如下检查，看是否报错，没有的话单机配置就完成了

    $ mkdir input
$ cp etc/hadoop/*.xml input
$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep input output 'dfs[a-z.]+'
$ cat output/*

分布式部署

参考 Cluster Setup 及单机中Single Node Setup 伪分布式的配置

配置host

vi  /etc/hosts
192.168.0.1 master
192.168.0.2 salve1
192.168.0.3 salve2

配置ssh免密登陆

  1. 首先尝试ssh localhost ，如果不成功首先要将自己主机加入授权key的列表中

    $ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys

    然后照此法将每台机子之间的key互通

  2. 关闭防火墙，每种系统方法不一样，重要机器请慎重关闭

    ​

修改配置文件

这里的重点集中在etc/hadoop中的几个配置文件中

core-site.xml

<configuration>
 <property>
     <name>fs.defaultFS</name>
     <value>hdfs://test1:9000</value>
 </property>
</configuration>

hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>test1:9001</value>
        <description>secondarynamenode的web地址</description>
    </property>
    <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
        <description>提供web访问hdfs的权限</description>
    </property>
</configuration>

mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>test1:10020</value>
        <description>jobhistory是Hadoop自带了一个历史服务器，记录Mapreduce历史作业</description>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>test1:19888</value>
    <description>jobhistory的http地址</description>
</property>
</configuration>

yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
     <property>
        <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
     <property>
       <name>yarn.resourcemanager.scheduler.class</name>
  <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
    </property>
    <property>
        <name>yarn.scheduler.fair.allocation.file</name>
        <value>/path-of-fair-shceduler-xml/fair-scheduler.xml</value>
        <description>对fair-scheduler进行设置，否则无法按找期望分配队列资源</description>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>master:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>master:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>master:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>master:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>master:8088</value>
        <description>yarn资源管理的http地址</description>
    </property>
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>20480</value>
        <description>例子为20G，yarn的node资源，可不设置但是不可以太小</description>
    </property>
</configuration>

fair-scheduler.xml

<?xml version="1.0"?>

<allocations>


<userMaxAppsDefault>30</userMaxAppsDefault>


<queue name="root">

<minResources>10240mb,3vcores</minResources>

<maxResources>20480mb,6vcores</maxResources>

<maxRunningApps>100</maxRunningApps>

<weight>1.0</weight>

<schedulingMode>fair</schedulingMode>

<aclSubmitApps> </aclSubmitApps>

<aclAdministerApps> </aclAdministerApps>



<queue name="root">

<minResources>10240mb,3vcores</minResources>

<maxResources>20480mb,6vcores</maxResources>

<maxRunningApps>100</maxRunningApps>
<schedulingMode>fair</schedulingMode>

<weight>1.0</weight>

<aclSubmitApps>*</aclSubmitApps>

</queue>
</queue>
</allocations>

检查是否成功

  1. 首先将配置同步到其他节点

    $ scp -r /usr/local/hadoop-2.7.3/etc/* test2:/usr/local/hadoop-2.7.3/etc/

  2. 启动hadoop组件

    bin/hdfs namenode –format    
sbin/start-dfs.sh
sbin/start-yarn.sh

  3. jps查看进程

    test1:
23297 SecondaryNameNode
22824 NameNode
18617 NodeManager
18443 ResourceManager
11596 Jps
test2:
31971 Jps
14170 NodeManager
28237 DataNode

    ​

  4. 通过浏览器查看

    1.http://master-ip:50070                   namenode的hdfs页面地址
2.http://master-ip:8088/cluster/         yarn资源的页面地址

  5. 跑示例程序检查

    过程类似单机测试，不过文件要上传hdfs，关于文件的命令请参考hdfs，这里只写出了本地的

    $ mkdir input
$ cp etc/hadoop/*.xml input
$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep input output 'dfs[a-z.]+'
$ cat output/*

查看运行日志

有问题及时查看./logs下的日志和Yarn的页面，跟踪解决。

其他

修改环境变量方便操作

  • Java
export JAVA_HOME=/usr/local/jdk1.8.0_111 #java-install-path
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
  • Hadoop
export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE HISTCONTROL
export JAVA_HOME=/usr/local/jdk1.8.0_111
export HADOOP_HOME=/usr/local/hadoop-2.7.3 #Hadoop-install-path
export PATH=$ZOOKEEPER_HOME/bin:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$HADOOP_HOME/bin

不要忘记source /etc/profile

关于环境变量的优先级，我会再写一篇文章探讨

    原文作者：SmileySure
    原文地址: https://www.jianshu.com/p/beaef9c0dd48
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞