一、准备： eclipse，hadoop集群 注意：为了方便测试和修改，我用的是 windows 连接hadoop集群，这样在windows 下直接就能够执行 mapreduce 任务，方便程序调试。在 windows …

I don’t consider myself the right person to write detailed tutorials as I usually tend to omit a lot of detail…

一.数据的备份与恢复 1. 备份 停止 HBase 服务后，使用 distcp 命令运行 MapReduce 任务进行备份，将数据备份到另一个地方，可以是同一个集群，也可…

Mapreduce思想 1. 就是做一个计算，如果计算过程中如果数据传输消耗的资源大于计算消耗的资源，考虑在计算过程中，将算法（程序），移动到数据存放的服务器中，再进行计算。 2. 在做一个巨型计算时，利用多台（例如 2…

我们在用MapReduce做数据处理的时候，经常会遇到将只需要输出键或者值的情况，如context.write(new Text(record), new Text(“”)),这样得到结果每行尾部…

前面介绍一些怎样用户类制定自己的类，来达到减少中间数据：http://www.cnblogs.com/liqizhou/archive/2012/05/14/2499498.html 1.迭代式mapreduce &nb…

作者：Syn良子 出处：http://www.cnblogs.com/cssdongl 转载请注明出处 大家都知道用mapreduce或者spark写入已知的hbase中的表时，直接在mapreduce或者spark的d…

SQL里面通常都会用Join来连接两个表，做复杂的关联查询。比如用户表和订单表，能通过join得到某个用户购买的产品；或者某个产品被购买的人群…. Hive也支持这样的操作，而且由于Hive底层运行在hado…

1. 先进先出（FIFO）调度器 　　先进先出调度器是Hadoop的默认调度器。就像这个名字所隐含的那样，这种调度器就是用简单按照“先到先得”的算法来调度任务的。例如，作业A和作业B被先后提交。那么在执行作业B的任务前，…

1、从hbase中取数据，再把计算结果插入hbase中 package com.yeliang; import java.io.IOException; import org.apache.hadoop.conf.Con…

WordCount是一个入门的MapReduce程序（从src\examples\org\apache\hadoop\examples粘贴过来的）： package org.apache.hadoop.examples;…

要点：#!/usr/bin/python 因为要发送到各个节点，所以py文件必须是可执行的。 1） 统计（所有日志）独立ip数目，即不同ip的总数 ####################本地测试############…