一、MongoDB聚合函数说明 max()与min() 通常总是需要找到给定集合里的某个字段的最大值与最小值。使用sql的数据库则给我们提供了max()与min()函数，但是Mongodb并没有提供这样的函数，所以我们必…

1.多路径输入 1）FileInputFormat.addInputPath 多次调用加载不同路径 FileInputFormat.addInputPath(job, new Path(“hdfs://RS5…

背景 2017.12.13日Apache Hadoop 3.0.0正式版本发布，默认支持阿里云OSS对象存储系统，作为Hadoop兼容的文件系统，后续版本号大于等于Hadoop 2.9.x系列也支持OSS。然而，低版本的…

终极算法 关注微信号每天收听我们的消息 终极算法为您推送精品阅读 前言 Hadoop 在大数据技术体系中的地位至关重要，Hadoop 是大数据技术的基础，对Hadoop基础知识的掌握的扎实程度，会决定在大数据技术道路上走…

本节书摘来自华章出版社《Flume日志收集与MapReduce模式》一书中的第1章，第1.1节，作者 ［美］ 史蒂夫·霍夫曼（Steve Hoffman）斯里纳特·佩雷拉（Srinath Perera），更多章节内容可以…

　　在mapreduce中的切片是什么意思？顾名思义就是将数据进行切分，切分为数据片，其实这个切片关乎于map阶段的map个数，以及每个map处理的数据量的大小。 　　mapreduce中,一个job的map个数, 每个…

package algorithm; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.io.I…

MapOutputBuffer中有一个变量叫做mapOutputFile。在sortAndSpill函数中(被flush调用)，会通过这个变量拿到文件地址，并写出中间结果，在该方法中，调用了下文中提到的writer.ap…

磨刀不误砍柴工，在这里我们先了解一个问题： MapReduce和YARN是什么关系？ 答：YARN并不是下一代MapReduce（MRv2），下一代MapReduce与第一代MapReduce（MRv1）在编程接口、数据…

一、背景      为了方便MapReduce直接访问关系型数据库（Mysql,Oracle），Hadoop提供了DBInputFormat和DBOutputFormat两个类。通…

一、Hive简介 什么是Hive Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并 提供类SQL查询功能。 本质是将SQL转换为MapReduce程序。 Hive本身不存储数据，…

以下大部分题目是从网上搜索得来，答案是笔者给的，若有错误，烦请指出，谢谢。 1 每天百亿数据存入HBase，如何保证数据的存储正确和在规定的时间里全部录入完毕，不残留数据 答：看到这个题目的时候我们要思考的是它在考查什么…