本博客采用创作共用版权协议, 要求署名、非商业用途和保持一致. 转载本博客文章必须也遵循署名-非商业用途-保持一致的创作共用协议. 个人博客地址: http://andrewliu.tk 1. 系统参数配置 通过Hado…

setup() 此方法被MapReduce框架仅且执行一次，在执行Map任务前，进行相关变量或者资源的集中初始化工作。若是将资源初始化工作放在方法map()中，导致Mapper任务在解析每一行输入时都会进行资源初始化工作…

title: MapReduce 多文件输入 date: 2016-06-16 16:26:16 tags: MapReduce 多路径输入 FileInputFormat.addInputPath 多次调用加载不同路径…

基于docker1.7.03.1单机上部署hadoop2.7.3分布式集群 [TOC] 声明 文章均为本人技术笔记，转载请注明出处：[1] https://segmentfault.com/u/yzwall[2] blo…

hadoop集群搭建 这里的集群只是一个单点登录的集群，没有做到正真的HA高可用，只是一个namenode节点多个datanode节点 基本思路: 先在一个节点上配置好hadoop集群 将配置好的hadoop复制给其他的…

Hadoop发展历史 Hadoop这个名字不是一个缩写，它是一个虚构的名字。该项目的创建者，Doug Cutting如此解释Hadoop的得名：”这个名字是我孩子给一头吃饱了的棕***大象命名的。我的命名标准就是简短，容…

前言 最近在项目中使用mongodb进行简单的数据分析，在使用mongodb驱动mgo时遇到一些问题，比如在mongodb中执行命令成功，到了mgo中就执行失败。在这里谈一谈实践过程中遇到的问题，基础的用法不再说明了，可…

HBase集群间数据迁移 0. 前置 HBase集群 HDFS Cluster-A hdfs:/A Cluster-B hdfs:/B Cluster-A集群数据迁移到Cluster-B 1. Export/Import…

简述 hadoop 集群一共有4种部署模式，详见《hadoop 生态圈介绍》。 HA联邦模式解决了单纯HA模式的性能瓶颈（主要指Namenode、ResourceManager），将整个HA集群划分为两个以上的集群，不同…

HBase之MapReduce 由于HBase2.0API变化较大，HBase-MapReduce也有所变化，本文以2.0API为准做一些HBase的MapReduce操作。 首先是POM文件： 简化版：HBAse2.1…

     如何在eclipse或myeclipse调试mapreduce程序，这个可能是初学mr程序者碰到的一个难题 在hadoop1.2.1后，在下载的源代码中找不到hadoop-ecli…

MongoDB也简单的实现了MapReduce的功能来提供分布式的数据查询服务,MapReduce的分布是功能主要用在Shard上 db.runCommand(   { mapreduce : <…