最近一直在研究大数据,这里记录一下自己创建Docker集群并且使用ansible搭建Hadoop大数据平台的过程,其中主要借鉴了一下网上的一篇较为全面的文章,不过到时遇到蛮多坑的,所以将那篇文章做了改动,添加或者减少一些…
标签:hadoop
Hadoop 入门(三)
目录 Hadoop 安装 单点启动&集群启动 访问 HDFS 常用配置 常用命令 访问HDSF 浏览器访问 给你一个地址自己去体会 http://192.168.8.150:50070/ linux 系统访问 往…
HBase Configuration
版本: 2.0.0 HBase的配置文件在conf/目录下。 主要配置文件描述: backup-masters : 默认没有,需要自建。是个普通的文本文件,它保存将要启动backup master的列表。一个host 一…
Hadoop 与 Hbase基本操作与配置
hadoop搭建 目的 本文档主要讲述如何快速搭建单节点hadoop以及一些简单map reduce操作和一些HDFS基本知识 配置要求 平台要求 GNU/LINUX支持该平台,Hadoop可以在linux上搭建2000…
mac 安装hadoop单机
需要配置免密码登录(ssh) brew install hadoop 默认安装最新的,我这里是装的是 hadoop 3.0.0 。配置文件目录在 /usr/local/Cellar/hadoop/3.0.0/libexe…
hadoop介绍
以下内容是我的学习笔记,网络课程的笔记。出处 Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。 HDFS有高容错性的特点,并且设计用来部署在低廉的(lo…
hadoop入门(二)
java访问hdfs 一.启动集群,验证集群是否启动 #start-dfs.sh #hdfs dfsadmin -report 二.修改hadoop数据存放目录 1.所有机器都要修改 #cd /tmp #cd /usr/…
hadoop解除safemode-安全模式
火山日常啰嗦 今天想删除hdfs上的某个目录时,总是报错,苦恼了很久才解决。 烦恼是一定会有的,但不能一直烦恼下去,因为问题总要解决的。后来我静下心,仔细查看日志中的错误信息,发现报的是这样的错误: org.apache…
Hadoop 3.2 环境搭建
软件环境 java version “1.8.0_181” Apache Hadoop 3.2.0 CentOS Linux release 7.4.1708 (Core) 查看 JDK 与 Ha…
Mac 系统安装Hadoop 2.7.3
1.查看是否安装了Java 以后会运行jar包,肯定需要java的运行环境。查看java版本,在terminal输入:java -version 2.下载hadoop 地址:http://www.apache.org/d…
Hadoop Ha 主备自动切换
为什么使用Hadoop Ha 集群: hadoop集群分为namenode、resourcemanager和datenode,namenode为主节点,datenode为数据节点,namenode、resourceman…
离线安装hadoop最新发行版本hdp2.4
hdp2.4是hortworks最新推出的100%开源的hadoop发行版本,其中包含了最新的spark 1.6,冲着这点,使用离线方式安装最新的2.4版本。 hdp2.jpg 1. 主要点 假设服务器无网络环境,或者其…