mac hadoop 配置

2019年6月8日 204次阅读 来源: destinyLee

记录:
1.安装jdk
mac 自带的有java,可以安装自己的版本,需要配置环境变量.
修改.bash_profile文件就可以.
2.ssh免密登录
2.1系统偏好设置->共享->勾选远程登录.
2.2 command+shift+g 输入~/.ssh 前往 . 进入.ssh文件夹下会多

《mac hadoop 配置》 屏幕快照 2018-05-02 15.17.25.png

然后在终端下输入

cat ~/.ssh/id_rsa.pub > ~/.ssh/authorized_keys

2.3验证 ssh 设置成功
《mac hadoop 配置》 屏幕快照 2018-05-02 15.21.06.png

3.在mac中下载解压版本
4.配置
所需要修改的配置文件都在hadoop-3.0.0.0/etc/hadoop目录下。
4.1 hadoop-env.sh

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_111.jdk/Contents/Home

4.2core-site.xml

<!-- 指定HDFS老大（namenode）的通信地址 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://0.0.0.0:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储路径 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/Library/hadoop-2.7.3/temp</value>
</property>

4.3hadfs-site.xml

<configuration>
<!--默认副本数3 ,修改为1-->
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>
<!--指明fsimage存放目录,多个目录用逗号隔开-->
<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/Users/leerui/Documents/soft/hadoop-3.0.0/tmp/hdfs/name</value>
</property>
<!--定块文件存放目录，多个目录逗号隔开-->
<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/Users/leerui/Documents/soft/hadoop-3.0.0/tmp/hdfs/data</value>
</property>
<property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
</property>
<property>
    <name>dfs.http.address</name>
    <value>0.0.0.0:50070</value>
</property>

4.4 mapred-site.xml

 <configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
</configuration>

4.5yarn-site.xml

<configuration>
<!-- Site specific YARN configuration properties -->
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</configuration>

5.配置环境变量
在 vi ~/.bash_profile 中进行配置

export HADOOP_HOME=/Users/leerui/Documents/soft/hadoop-3.0.0
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"
export PATH=${PATH}:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

让配置生效:

source ~/.bash_profile

想要验证环境变量 是否配置成功的话 可以输入

echo $path

6.初始化以及启动

//进入hadoop安装目录
cd $HADOOP_HOME
//初始化namenode
hdfs namenode -format
//启动hdfs
sbin/start-dfs.sh 
//启动yarn
sbin/start-yarn.sh

7.测试是否成功
当启动完hdfs以及yarn可以打开浏览器，输入以下地址看是否能进入对应的页面
启动完hdfs访问: http://localhost:50070

《mac hadoop 配置》 屏幕快照 2018-05-02 16.06.55.png

启动完yarn访问: http://localhost:8088

《mac hadoop 配置》 屏幕快照 2018-05-02 16.07.35.png

就启动成功了.

原文https://www.cnblogs.com/landed/p/6831758.html

    原文作者：destinyLee
    原文地址: https://www.jianshu.com/p/b8578b08b093
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞