2.1 Zookeeper正常部署 首先保证Zookeeper集群的正常部署，并启动之： [atguigu@hadoop102 zookeeper-3.4.10]$ bin/zkServer.sh start [atgu…

GitHub: kiwenlau/hadoop-cluster-docker 可以直接进入第三部分，快速在本机搭建一个3个节点的Hadoop集群 一. 项目简介 二. 镜像简介 三. 3节点Hadoop集群搭建步骤 四.…

hadoop 2.9 +vmware 完全分布式环境搭建 环境概要 Linux：Ubuntu 16.04 hadoop：Hadoop 2.9.0 jdk：1.8.0 vmware：14.0 pro 第一部分Linux环境…

  更新时间：2018/11/9 11:35:53   更新内容：     1. 将 判断文件的可读权限和判断文件类型分别单独出一个文章；     2. 判断文件的可读权限做了api的扩展和代码优化，提供所有权限的判断。…

内容摘要：hadoop 是Apache开源组织的一个分布式计算开源框架，在很多大型网站上都已经得到了应用，如亚马逊、Facebook和Yahoo等等。 在SIP项目设计的过程中，对于它庞大的日志在开始时就考虑使…

1、上传文件到集群 小文件 [victor@node1 hadoop-2.8.2]$ bin/hdfs dfs -mkdir -p /user/victor/conf [victor@node1 hadoop-2.8.2…

官方文档翻译，官方链接。 翻译水平有限，且以学习为主，请谅解和提意见。 转载请注明出处！！！ 自动failover 介绍 前面详细说明了如何配置手工failover。在那种模式下，系统不能自动地触发将NameNode从a…

在这篇文章中，我们将会分享一些对Hadoop进行性能调优的方法，技巧。 这篇文章由我在阅读《Optimizing Hadoop for MapReduce》时，做的笔记，整理而成。 强烈建议读者去读一下上面重点标注的那本…

干货(3)-spring-batch+spring-hadoop+olh整合 – Hadoop分布式数据分析平台-炼数成金-Dataguru专业数据分析社区 http://f.dataguru.cn/thre…

1. 环境 1.0 准备 配置详情如下： 主机名 IP 安装组件 ceph-1 192.168.16.4 master（NameNode, SecondaryNameNode） & slave(DataNode)…

要用docker搭建集群，首先需要构造集群所需的docker镜像。构建镜像的一种方式是，利用一个已有的镜像比如简单的linux系统，运行一个容器，在容器中手动的安装集群所需要的软件并进行配置，然后commit容器到新的镜…

#hbase 低版本0.9xxxx hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.separator="," -Dimporttsv.colu…