hadoop是什么？ (1)Hadoop是一个开源的框架，可编写和运行分布式应用处理大规模数据，是专为离线和大规模数据分析而设计的，并不适合那种对几个记录随机读写的在线事务处理模式。Hadoop=HDFS（文件系统，数据…

MapReduce调试常见情况 Idea是一款很赞的IDE，结合Hadoop可以做本地测试+远程调试。 首先，我们知道针对MapReduce有以下2种情况。 使用本地Hadoop执行任务，前提是数据量要小，否则，速度会很…

本节书摘来异步社区《Hadoop MapReduce性能优化》一书中的第1章，第1.4节，作者： 【法】Khaled Tannir 译者： 范欢动 责编： 杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。 1…

Join原理 Hive执行引擎会将HQL“翻译”成为MapReduce任务，如果多张表使用同一列做Join,将被“翻译”成一个MapReduce任务，否则会被“翻译”成多个MapReduce任务 例如：以下将被“翻译”成…

一、调优的目的 充分的利用机器的性能，更快的完成mr程序的计算任务。甚至是在有限的机器条件下，能够支持运行足够多的mr程序。 二、调优的总体概述 从mr程序的内部运行机制，我们可以了解到一个mr程序由mapper和red…

LeetCode version Problem Given a non-empty list of words, return the k most frequent elements. Your answer sho…

一.Spark是什么?       Spark是一个基于内存计算的开源的集群计算系统，目的是让数据分析更加快速。Spark非常小巧玲珑，由加州伯克利大学AMP实验室的Matei为主的小团队所…

hadoop官方文档 http://hadoop.apache.org/docs/r1.2.1/single_node_setup.html 关闭防火墙 service iptables stop 修改 vi /home…

一：概要模式 1：简介 概要设计模式更接近简单的MR应用，因为基于键将数据分组是MR范型的核心功能，所有的键将被分组汇入reducer中 本章涉及的概要模式有数值概要（numerical summarization），倒…

TaskScheduler，顾名思义，就是MapReduce中的任务调度器。在MapReduce中，JobTracker接收JobClient提交的Job，将它们按InputFormat的划分以及其他相关配置，生成若干个…

2017年11月1日课后作业 Hive 第二次课程 回顾上节课的内容 Hive是什么 SQL -> MapReduce 为什么会有Hive 给非Java编程者对HDFS上的数据做MapReduce查询使用 数据仓库…

一、调整参数 入门级的调优可以从调整参数开始。投入小，回报快。 1. Write Buffer Size 快速配置 设置buffer的容量，例子中设置了6MB的buffer容量。 必须禁止auto flush。 6MB是…