使用阿里云虚拟主机搭建hadoop伪分布式环境

2019年5月9日 146次阅读 来源: 浪漫晨风

环境：

系统环境：center os 6.5
hadoop 2.6.3

准备工作：
1.到阿里云虚拟主机网站申请虚拟服务器https://www.aliyun.com/

《使用阿里云虚拟主机搭建hadoop伪分布式环境》 按流量购买.PNG

2.查看该服务器防火墙是否关闭：

#查看防火墙状态
service iptables status
#关闭防火墙
service iptables stop
#查看防火墙开机启动状态
chkconfig iptables --list
#关闭防火墙开机启动
chkconfig iptables off
#注意如果使用7.0，上面的防火墙是firewall
#停止firewall
systemctl stop firewalld.service
#禁止firewall开机启动
systemctl disable firewalld.service

3、下载hadoop2.6.3 ，官方下载地址
4、下载jdk 1.7
配置工作：
1.使用SecureCRT进行jdk上传，按快捷键alt+p

《使用阿里云虚拟主机搭建hadoop伪分布式环境》 上传.PNG

2.用root用户登录，新建目录

#创建文件夹
mkdir /hadoop/app
#解压
tar -zxvf jdk-7u79-linux-i586.tar.gz -C /hadoop/app

3.配置java环境变量

vim /etc/profile
#在文件最后添加,键入i，进入编辑状态，输入以下内容
export JAVA_HOME=/hadoop/app/jdk7
export PATH=$PATH:$JAVA_HOME/bin
#按ESC键退出，然后：wq
#刷新配置
source /etc/profile
输入java -version
[root@iZm5e4n23158me4n4pi9zcZ jdk7]# java -version
java version "1.7.0_79"
Java(TM) SE Runtime Environment (build 1.7.0_79-b15)
Java HotSpot(TM) Client VM (build 24.79-b02, mixed mode)
说明java环境配置成功
#如果本身自带有openjdk，可以采用以下命令查看
rpm -qa|grep java
#输入以下命令删除
yum -y remove java-1.7.0-openjdk-1.7.0.9-2.3.8.0.el6_4.i686

4.配置hadoop
先上传hadoop的安装包到服务器上去/hadoop/
注意：hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop
伪分布式需要修改5个配置文件

#第一个：hadoop-env.sh
#vim hadoop-env.sh
#第27行
export JAVA_HOME=/hadoop/app/jdk7
#第二个：core-site.xml
#<!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大
#（NameNode）的地址 不要带中文-->
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://120.27.6.105:9000</value>
        </property>
        <!-- 指定hadoop运行时产生文件的存储目录 -->
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/hadoop/hadoop-2.6.3/tmp</value>
    </property>
#第三个：hdfs-site.xml   hdfs-default.xml  
        <!-- 指定HDFS副本的数量 -->
        <property>
            <name>dfs.replication</name>
            <value>1</value>
    </property>
        
#   第四个：mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
#mv mapred-site.xml.template mapred-site.xml（进行重名名）
#vim mapred-site.xml
        <!-- 指定mr运行在yarn上 -->
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
    </property>
        
#第五个：yarn-site.xml
        <!-- 指定YARN的老大（ResourceManager）的地址 -->
        <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>120.27.6.105</value>
    </property>
        <!-- reducer获取数据的方式 -->
    <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
     </property>
#将hadoop添加到环境变量
vim /etc/proflie
export HADOOP_HOME=/hadoop/hadoop-2.6.3
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile

5.格式化namenode

格式化namenode（是对namenode进行初始化）
hdfs namenode -format (hadoop namenode -format)
#启动hadoop
先启动HDFS
sbin/start-dfs.sh
再启动YARN
sbin/start-yarn.sh

6.验证是否成功：

使用jps命令验证
27408 NameNode
28218 Jps
27643 SecondaryNameNode
28066 NodeManager
27803 ResourceManager
27512 DataNode
#查看各个端口
netstart -nltp
http://120.27.6.105:50070 （HDFS管理界面）
http://120.27.6.105:8088 （MR管理界面）
    原文作者：浪漫晨风
    原文地址: https://www.jianshu.com/p/a33ea696421d
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞