学习hadoop已有一月之余，由于前段时间不太上心，导致脑海之中并没有留下什么映像，但是这两天的集中学习让我对于mapreduce过程中的shuffle有了一定的了解，所以现在赶紧记下这难得的感触，不期望能给别人带来感悟…

在清空/tmp 和/home/centos/downloads/hadoop-2.7.2/logs中的数据执行start-all.sh后，主控制机只出现了SecondaryNameNode节点和ResourceManag…

将各种类型的数据库或者文件导入到HBase，常见有三种方法：   （1）使用HBase的API中的Put方法   （2）使用HBase 的bulk load工具   （3）使用定制的MapR…

第1章 分布式系统概念与ZooKeeper简介 对分布式系统以及ZooKeeper进行简介，使得大家对其有大致的了解 1-1 zookeeper简介 1-2 什么是分布式系统 1-3 分布式系统的瓶颈以及zk的相关特性 …

最近在Hadoop大数据分析上很流行一个叫/var/tmp/java -c /var/tmp/w.conf的病毒程序，当然了，我本人也被中招了，后来就把在/var/tmp/里面的程序删除了，并且将定时任务crontab也…

1.Hadoop HDFS架构向导的目的 在这篇关于HDFS文章结构的指南里，你可以读到所有关于HDFS的东西。首先，我们讨论一下HDFS的设计理念和目标。这个结构教程会覆盖所有Hadoop HDFS的结构细节，比如Na…

创建目录 hadoop dfs -mkdir /home 上传文件或目录到hdfs hadoop dfs -put hello / hadoop dfs -put hellodir/ 查看目录 hadoop dfs -l…

不同输入源下的map和reduce数量： 一般情况下，在输入源是文件的时候，一个task的map数量由splitSize来决定的，那么splitSize是由以下几个来决定的 goalSize = totalSize / …

一、记一次“不合格”的方法 这种方法也是网上参考博客得来的，一开始就觉得有问题，后来真的发现了问题。 首先停止已经启动的hadoop： [hadoop@localhost ~]$ stop-all.sh 然后查看hado…

1、hadoop     fs     hadoop  fs    = hdfs    dfs 2、ls命令 …

目录 Hadoop 安装 单点启动&集群启动 访问 HDFS 常用配置 常用命令 启动关闭集群 单节点启动&停止 namenode 单节点启动 [root@node0 name]# hadoop-daem…

聊到大数据技术，当然是少不了hadoop，这只可爱的小象。这两年的大数据技术十分火爆，今天我就为大家整理了hadoop的学习资料。希望各位学习者共勉，也欢迎多多补充。 书籍推荐 1.《Hadoop实战》：按照人类容易理解…