说明 为实现matrix1 * matrix2矩阵相乘（matrix1每一个行的列元素分别与matrix2每一列的行元素进行相乘）。实现思路是将matrix2矩阵进行转置，以实现matrix1与转置后的matrix2的每…

   Hadoop、HBase、Hive、Spark分布式系统架构，本文通过全套部署方法来让大家深入系统内部以充分理解分布式系统架构和他们之间的关系。    机器学习、数据挖掘等各…

@(blog) 简介 Hadoop 是一个能够处理海量数据的分布式系统基础软件框架，理论上能够通过增加计算节点以处理无限增长的数据，由java写成。其作者是 Doug Cutting，得益于谷歌的Map/Reduce计算…

目录： .1.Hadoop家族产品 2.Hadoop家族学习路线图 Hadoop家族产品 截止到2013年，根据cloudera的统计，Hadoop家族产品已经达到20个！ 接下来，我把这20个产品，分成了2类。 第一…

1. hadoop的搭建 hadoop的搭建可参考文章 http://www.powerxing.com/install-hadoop/，文章比较完整且详细的介绍了单机和伪分布的搭建。 2. mapreduce的学习 m…

Problem Using map reduce to count word frequency. https://hadoop.apache.org/doc… Example chunk1: “…

Reducer Reduce处理一系列相同key的中间记录。 用户可以通过 Job.setNumReduceTasks(int) 来设置reduce的数量。 总的来说，通过 Job.setReducerClass(Cla…

Setup for cluster Add User sudo addgroup hadoop sudo adduser --ingroup hadoop hadoop sudo usermod -a -G sudo h…

org.apache.hadoop.hbase.mapreduce TableMapper  TableReducer 一个region对应一个map import java.io.IOExcepti…

1.数据准备 2.上传HDFS 3.执行Mapreduce分布式并行计算 3.1业务逻辑处理。 业务理解：通俗理解，我先查到单词，或者是字符串，更具这字符串，我可这到记录单词或者字符串的地址，然后在统计词频。与正序索引截…

1. 背景 异常堆栈如下 2015-12-23 10:44:45,289 INFO [main] org.apache.hadoop.mapred.Merger: Down to the last merge-pass,…

一：Mapper类 在Hadoop的mapper类中，有4个主要的函数，分别是：setup，cleanup，map，run。代码如下： protected void setup(Context context) thro…