环境条件 JDK1.8 Hadoop 2.7.5 mac os Hadoop部署步骤 第一步 安装JDK 因为Hadoop是java写的开源框架，所以必须建立在Java的运行环境上。本篇采用的是JDK1.8 ，其实只要1…

我们可以选择官方编译好的Hadoop进行安装，但是自己机器或者公司内部其他版本的Hadoop最好通过自己编译来进行。 源码构建 环境： Ubuntu(Unix) Java 1.7+ Maven 3.0 or later …

　以下介绍的课程主要针对零基础大数据工程师每个阶段进行通俗易懂简易介绍，方面大家更好的了解大数据学习课程。课程框架是科多大数据的零基础大数据工程师课程。 　　一、 第一阶段：静态网页基础(HTML+CSS) 　　1. 难…

火山日常啰嗦 今天想删除hdfs上的某个目录时，总是报错，苦恼了很久才解决。 烦恼是一定会有的，但不能一直烦恼下去，因为问题总要解决的。后来我静下心，仔细查看日志中的错误信息，发现报的是这样的错误： org.apache…

“hdfs dfs -ls”带一个参数，如果参数以“hdfs://URI”打头表示访问HDFS，否则相当于ls。 其中URI为NameNode的IP或主机名，可以包含端口号，即hdfs-site.xml中“dfs.nam…

本文主要包括两部分的内容，第一部分主要包HBase的四种安装方法，分别是：① 单机版模式，② 伪集群模式，③ 使用HBase自带的zookeeper构建分布式集群，④ 使用独立安装的zookeeper构建分布式集群。第二…

设置Hadoop环境 在Tools -> Hadoop Distribution 中选择 “HortonWorks HDP 2.5.x”。 复制 hbase-site.xml 文件 从hbase集群中复制 hbas…

hadoop三大组件 mapreduce 分布式运算框架 yarn 任务调度平台 hdfs 分布式文件系统 1.HDFS数据存放策略：分块存储+副本存放。 2.数据拓扑结构（即数据备份）：默认存放3份，可以通过修改配置文…

文章也同时在个人博客 http://kimihe.com/更新 1. 引言 笔者目前已经开启了博士预科，方向偏系统工程，涉及到分布式架构的设计与改进。Apache基于Google的MapReduce体系开发的hadoop…

目录 Hadoop 安装 单点启动&集群启动 访问 HDFS 常用配置 常用命令 常用配置 core-site.xml hdfs-site.xml 备份份数 <property> <name&g…

hadoop安装文档 a、安装前准备步骤 操作系统：CentOS 7.0 版本：hadoop-2.7.3 hadoop-2.7.3 下载链接 用户：eoi 解压: tar -zxvf hadoop-2.7.3.tar.g…

最近老在项目的shell脚本中看到kinit这个东西，完整的命令是 kinit -k -t ./conf/kerberos.keytab sherlocky/admin@EXAMPLE.COM 查阅一番资料后了解到，之所…