Local (Standalone) Model MapReduce程序运行在本地，启动jvm 启动本地模式： 1、配置hadoop-env.sh配置文件中的java_home路径 2、在hadoop安装目录下：mkdi…

1. 多路径输入 FileInputFormat是所有使用文件作为其数据源的 InputFormat 实现的基类，它的主要作用是指出作业的输入文件位置。因为作业的输入被设定为一组路径， 这对指定作业输入提供了很强的灵活性…

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 import  org.apache.hadoo…

今天查找分布式计算的有关资料，发现Google的三大核心技术MapReduce、GFS和BigTable的论文都已经被翻译成高质量的中文，更巧的是，这三篇中译版的原发地都是CSDN的Blog。 张凌云在一个月之前发表的M…

Spark入门 前言 本人并未从事Spark相关的工作，但由于项目需要使用了Spark将算法实现并行化，所以本篇博客更多的是一些简单、直白的Spark用法与优化。适合看本篇博客的人应该是与我一样由于课题需要临时使用Spa…

Mac环境下Hadoop的安装与配置 今天，由于云计算实验需要，同时对云计算也有很大兴趣，就在自己的Mac上安装了Hadoop。 === 首先 我来简短介绍一下Hadoop： Hadoop是一个由Apache基金会所开发…

IDE下的MapReduce开发 在学校上Hadoop的课，Group Project要写一些MapReduce，学校给了cluster，但是在cluster上直接开vim写JAVA着实不怎么习惯。于是折腾了一下踩了些坑…

阿里云 Elastic MapReduce（E-MapReduce） 是一种大数据处理的系统解决方案。构建于阿里云云服务器 ECS 上，基于开源的 Apache Hadoop 和 Apache Spark，让用户可以方便…

package com.timger.tools /** * Created by timger on 15-1-26. */ import com.timger.etl.TokenizerMapper import o…

SPARK （Spark）  编辑 Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类H…

系统信息 master os: MAC OSX 10.10 ip: 192.168.2.108 hostname: master slaves1 os: MAC OSX 10.10 ip: 192.168.2.104 h…

Hive设置方法： SET mapreduce.job.queuename=root.up; SET mapreduce.job.priority=HIGH;   set tez.queue.name=cmbi…