Hadoop 2.7.3 源码编译+单机及分布式部署

我们可以选择官方编译好的Hadoop进行安装,但是自己机器或者公司内部其他版本的Hadoop最好通过自己编译来进行。

源码构建

环境:

  • Ubuntu(Unix)
  • Java 1.7+
  • Maven 3.0 or later
  • ProtocolBuffer 2.5.0
  • CMake 2.6 + (native code)
  • Zlib devel (native code)
  • 联网

工具准备

  1. 首先从GitHub下载Hadoop源码:

  2. 解压到任意文件夹 tar -zxvf

  3. 安装JDK-1.7

    $ sudo apt-get purge openjdk*
    $ sudo apt-get install software-properties-common
    $ sudo add-apt-repository ppa:webupd8team/java
    $ sudo apt-get update
    $ sudo apt-get install oracle-java7-installer
    
  4. 安装Maven

    $ sudo apt-get -y install maven
    
  5. 安装编译Native Code(本机代码)需要的组件

    $ sudo apt-get -y install build-essential autoconf automake libtool cmake zlib1g-dev pkg-config libssl-dev
    
  6. 安装ProtocolBuffer 2.5.0

    $ sudo apt-get -y install libprotobuf-dev protobuf-compiler
    

从源码构建

切换到Hadoop源码根目录

$ mvn clean #清理mvn

有多种方式构建,这里我们选择不带源码的二进制发行版(binary distribution),编译成本机代码。

$ mvn package -Pdist,native -DskipTests -Dtar #使用maven 进行构建

这里视网络情况和机器性能不等编译时间也不同。因为maven需要向网络请求依赖库,构建完成后显示

[INFO] BUILD SUCCESS

这时在Hadoop源码根目录下切换到

$ cd ./hadoop-dist/target

找到Hadoop-2.7.3目录,我们需要的编译构建好的Hadoop二进制文件就在这里啦。

软件结构

total 120
drwxr-xr-x 2 root root  4096 9月   5 19:17 bin #Hadoop组件命令,包涵Windows的cmd
drwxr-xr-x 3 root root    19 9月   5 19:17 etc #Hadoop配置文件
drwxr-xr-x 2 root root   101 9月   5 19:17 include #对外提供的编程库头文件(具体动态库和静态库在lib目录中),这些头文件均是C++定义的,通常用于C++程序访问HDFS或者编写MR程序
drwxr-xr-x 3 root root    19 9月   5 19:17 lib #该目录提供了对外编程的静态库和动态库,与include目录下的头文件结合使用(并不是一些依赖jar包)
drwxr-xr-x 2 root root  4096 9月   5 19:17 libexec #各个服务所对应的shell配置文件所在目录,可用于配置日志输出目录、启动参数(比如JVM参数)等基本信息
-rw-r--r-- 1 root root 84854 9月   5 19:17 LICENSE.txt
drwxr-xr-x 3 root root  4096 9月  19 02:24 logs #日志文件
-rw-r--r-- 1 root root 14978 9月   5 19:17 NOTICE.txt
-rw-r--r-- 1 root root  1366 9月   5 19:17 README.txt
drwxr-xr-x 2 root root  4096 9月   9 03:49 sbin #对Hadoop组件操作的shell文件
drwxr-xr-x 4 root root    29 9月   5 19:17 share #hadoop 各个模块编译后的jar包所在目录,以及文档所在目录

单机部署

参考Single Node Setup

  1. 安装ssh和rsync

    $ sudo apt-get install ssh
    $ sudo apt-get install rsync
    
  2. 将刚刚编译好的hadoop-2.7.3文件拷到想安装的目录下,配置 etc/hadoop/hadoop-env.sh文件中的JAVA_HOME为

     # set to the root of your Java installation
      export JAVA_HOME=/usr/java/latest
    
  3. 尝试运行bin/hadoop看能否正常输出,同时可以运行

    $ ./bin/hadoop version
    

    查看版本和编译情况

  4. 按照步骤进行如下检查,看是否报错,没有的话单机配置就完成了

    $ mkdir input
    $ cp etc/hadoop/*.xml input
    $ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep input output 'dfs[a-z.]+'
    $ cat output/*
    

分布式部署

参考 Cluster Setup 及单机中Single Node Setup 伪分布式的配置

配置host

vi  /etc/hosts
192.168.0.1 master
192.168.0.2 salve1
192.168.0.3 salve2

配置ssh免密登陆

  1. 首先尝试ssh localhost ,如果不成功首先要将自己主机加入授权key的列表中

    $ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
    $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
    $ chmod 0600 ~/.ssh/authorized_keys
    

    然后照此法将每台机子之间的key互通

  2. 关闭防火墙,每种系统方法不一样,重要机器请慎重关闭

修改配置文件

这里的重点集中在etc/hadoop中的几个配置文件中

core-site.xml

<configuration>
 <property>
     <name>fs.defaultFS</name>
     <value>hdfs://test1:9000</value>
 </property>
</configuration>

hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>test1:9001</value>
        <description>secondarynamenode的web地址</description>
    </property>
    <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
        <description>提供web访问hdfs的权限</description>
    </property>
</configuration>

mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>test1:10020</value>
        <description>jobhistory是Hadoop自带了一个历史服务器,记录Mapreduce历史作业</description>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>test1:19888</value>
    <description>jobhistory的http地址</description>
</property>
</configuration>

yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
     <property>
        <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
     <property>
       <name>yarn.resourcemanager.scheduler.class</name>
  <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
    </property>
    <property>
        <name>yarn.scheduler.fair.allocation.file</name>
        <value>/path-of-fair-shceduler-xml/fair-scheduler.xml</value>
        <description>对fair-scheduler进行设置,否则无法按找期望分配队列资源</description>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>master:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>master:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>master:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>master:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>master:8088</value>
        <description>yarn资源管理的http地址</description>
    </property>
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>20480</value>
        <description>例子为20G,yarn的node资源,可不设置但是不可以太小</description>
    </property>
</configuration>

fair-scheduler.xml

<?xml version="1.0"?>

<allocations>


<userMaxAppsDefault>30</userMaxAppsDefault>


<queue name="root">

<minResources>10240mb,3vcores</minResources>

<maxResources>20480mb,6vcores</maxResources>

<maxRunningApps>100</maxRunningApps>

<weight>1.0</weight>

<schedulingMode>fair</schedulingMode>

<aclSubmitApps> </aclSubmitApps>

<aclAdministerApps> </aclAdministerApps>



<queue name="root">

<minResources>10240mb,3vcores</minResources>

<maxResources>20480mb,6vcores</maxResources>

<maxRunningApps>100</maxRunningApps>
<schedulingMode>fair</schedulingMode>

<weight>1.0</weight>

<aclSubmitApps>*</aclSubmitApps>

</queue>
</queue>
</allocations>

检查是否成功

  1. 首先将配置同步到其他节点

    $ scp -r /usr/local/hadoop-2.7.3/etc/* test2:/usr/local/hadoop-2.7.3/etc/
    
  2. 启动hadoop组件

    bin/hdfs namenode –format    
    sbin/start-dfs.sh
    sbin/start-yarn.sh 
    
  3. jps查看进程

    test1:
    23297 SecondaryNameNode
    22824 NameNode
    18617 NodeManager
    18443 ResourceManager
    11596 Jps
    test2:
    31971 Jps
    14170 NodeManager
    28237 DataNode
    

  4. 通过浏览器查看

    1.http://master-ip:50070                   namenode的hdfs页面地址
    2.http://master-ip:8088/cluster/         yarn资源的页面地址
    
  5. 跑示例程序检查

    过程类似单机测试,不过文件要上传hdfs,关于文件的命令请参考hdfs,这里只写出了本地的

    $ mkdir input
    $ cp etc/hadoop/*.xml input
    $ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep input output 'dfs[a-z.]+'
    $ cat output/*
    

查看运行日志

有问题及时查看./logs下的日志和Yarn的页面,跟踪解决。

其他

修改环境变量方便操作

  • Java
export JAVA_HOME=/usr/local/jdk1.8.0_111 #java-install-path
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
  • Hadoop
export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE HISTCONTROL
export JAVA_HOME=/usr/local/jdk1.8.0_111
export HADOOP_HOME=/usr/local/hadoop-2.7.3 #Hadoop-install-path
export PATH=$ZOOKEEPER_HOME/bin:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$HADOOP_HOME/bin

不要忘记source /etc/profile

关于环境变量的优先级,我会再写一篇文章探讨

    原文作者:SmileySure
    原文地址: https://www.jianshu.com/p/beaef9c0dd48
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞