Pig是一种探索大规模数据集的脚本语言。MapReducer的一个主要的缺点就是开发的周期太长了。我们要编写mapper和reducer，然后对代码进行编译打出jar包，提交到本地的JVM或者是hadoop的集群上，最后…

一:安装虚拟机(虚拟机需要3台),准备Hadoop与JDK 二:修改所有虚拟机IP地址以及子网掩码,修改完成之后,重启网卡service network restart ,主服务于子节点都需要修改 三:使用root登录修…

这是本熊转业的第一篇，本来从事绘画的工作的本熊为什么来搞搜索引擎呢。这要说起前些日子小Y的委托，靠脸吃饭能饿死自己几辈子的本熊。出于这是单身熊的寂寞 ，哪能错过这个刷刷小Y的好感度的机会，于是跳了这个大坑里。 注：本熊搜…

在hadoop中edits和fsimage是两个至关重要的文件，其中edits负责保存自最新检查点后命名空间的变化，起着日志的作用，而fsimage则保存了最新的检查点信息。这个两个文件中的内容使用普通文本编辑器是无法直…

1 使用cacheFile分发文件 如果文件（如字典文件）存放在HDFS中，希望计算时在每个计算节点上将文件当作本地文件处理，，可以使用-cacheFile hdfs://host:port/path/to/file#l…

前置及环境准备 下载hadoop2.7.3源码: https://archive.apache.org/dist/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz 安装依赖库 …

简介:Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算.本教程…

自动部署？Ambari Ambari 跟 Hadoop 等开源软件一样，也是 Apache Software Foundation 中的一个项目，并且是顶级项目。就 Ambari 的作用来说，就是创建、管理、监视 Had…

LDAP入门 首先要先理解什么是LDAP，当时我看了很多解释，也是云里雾里，弄不清楚。在这里给大家稍微捋一捋。 首先LDAP是一种通讯协议，LDAP支持TCP/IP。协议就是标准，并且是抽象的。在这套标准下，AD（Act…