Mac下搭建Hadoop单节点

2024年2月19日 256次阅读 来源: 武斌_小米

  • 安装Homebrew

    ruby -e “$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)”

  • 运行brew install hadoop，当完成安装后，直接可以在/user/local/Cellar/hadoop/ 找到安装的hadoop。

  • 更改设置文件（/hadoop/2.6.0/libexec/etc/hadoop/hadoop-env.sh），添加或修改：

    export JAVA_HOME=/Library/Java/Home
    export PATH=$JAVA_HOME/bin:$PATH
    export HADOOP_CLASSPATH=$JAVA_HOME/lib/tools.jar

  • 编写源代码

  • Compile :

    bin/hadoop com.sun.tools.javac.Main FileName.java
jar -cvf Job.jar -C filefolder/ .

  • 执行：bin/hadoop jar Job.jar JobName inputFolder outputFolder

最后在outputFolder里面查看生成结果即可。

    原文作者：武斌_小米
    原文地址: https://segmentfault.com/a/1190000002444663
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞