正文之前 今天很气愤!!想要学点东西,但是老是被环境所限制。Hadoop这个见鬼的环境,我只是运行单机模式,结果就是都不成功。好不容易磕磕盼盼的终于把啥缺的东西都找出来了结果最后还是失败了。暂时我真的不想去看失败记录,因…
标签:home
Hadoop 2.6.4单机和伪分布式模式安装
软件准备 jdk-7u80-linux-x64.tar.gz hadoop-2.6.4.tar.gz ssh客户端 JDK安装配置 下载解压 jdk-7u80-linux-x64.tar.gz。 配置环境变量, 编辑 .…
mac系统搭建单节点hadoop
1.下载hadoop http://hadoop.apache.org/releases.html 2.解压下载的hadoop文件 tar -zxvf /HADOOP-VERSION-FULL-PATH.tar.gz 3…
Hadoop 基础搭建教程
1. 相关依赖与版本说明 JDK8 SSH Hadoop版本为2.8.5 官方建议为hadoop新建用户组与用户,方便后续权限控制。 个人学习可以忽略。 2. Hadoop服务安装 从官网下载压缩包,进行解压,根据需要配…
15.4 hive和hbase的集成
image.png image.png 原理是用相对路劲设置文件目录 export HBASE_HOME=/opt/modules/hbase-0.98.6-cdh5.3.0 export HIVE_HOME=/opt/…
Spark On YARN 集群安装部署
本文展示了在之前搭建的Hadoop分布式集群的基础上如何搭建Spark分布式集群环境 一、已有环境 ubuntu 14.04 hadoop 2.7.1 集群安装参考 三台机器 master、slave1、slave2 二…
spark安装与部署
spark安装与部署 spark概述 spark平台结构 spark统一栈 spark官网 spark的安装,配置,部署 下载配置jdk, scala, sbt, maven; 下载配置spark 修改~/.bash_p…
01 从spark-submit说起
使用spark-submit命令来提交Spark程序 spark-submit: # 1-- 检查是否存在SPARK_HOME环境变量 # 如没有则条用当前命令下的find-spark-home脚本查找和加载相关的环境变…
apache-hive-1.2.2安装
只需要在namenode节点中安装即可 配置环境变量 将如下内容添加到 ~/.bash_profile中 export HIVE_HOME=/root/software/apache-hive-1.2.1-bin exp…
在hadoop上运行python程序
在hadoop上运行python程序 准备文件 测试文件test.txt (/home/hadoop/input/test.txt) mapper.py (/home/hadoop/input/code/mapper.p…
Hive 3.1.0 安装
环境初始化 预先安装mysql 解压安装包 安装Hive 1.解压 tar -zxf apache-hive-3.1.0-bin.tar.gz Set the environment variable HIVE_HOME…
Hive-2.3.3 安装
1、下载解压 wget https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-2.3.3/apache-hive-2.3.3-bin.tar.gz tar zxvf …