分类：MapReduce

MapReduce 之排序

排序是MapReduce核心技术，尽管实际应用中可能不需要对数据进行排序，但是MapReduce过程本身就含有排序的概念。 MapReduce的排序是默认按照Key排序的，…

1. Oozie简介 Yahoo开发工作流引擎Oozie（驭象者），用于管理Hadoop任务（支持MapReduce、Spark、Pig、Hive），把这些任务以DAG（有向无环图）方式串接起来。Oozie任务流包括：c…

MapReduce的典型应用场景中，目前日志分析用的比较多，还有做搜素的索引，机器学习算法包mahout也是之一，当然它能做的东西还有很多，比如数据挖掘、信息提取。 MapReduce得到广泛的应用，主要集中在分布排序、…

概述 kafka是一个开源社区常用的消息队列，虽然kafka官方（Confluent公司）提供插件从Kafka直接导入数据到HDFS的connector，但对阿里云对文件存储系统OSS却没有官方的支持。本文会举一个简单的…

大数据的时代，到处张嘴闭嘴都是Hadoop, MapReduce, 不跟上时代怎么行？可是对一个hadoop的新手，写一个属于自己的MapReduce程序还是小有点难度的，需要建立一个maven项目，还要搞清楚…

reduce端join算法实现 1、需求：订单数据表t_order： id date pid amount 1001 20150710 P0001 2 1002 2015071…

ORDER BY hive中的ORDER BY语句和关系数据库中的sql语法相似。他会对查询结果做全局排序，这意味着所有的数据会传送到一个Reduce任务上，这样会导致在大数量的情况下，花费大量时间。与数据库中 ORD…

报错 Exception in thread "main" java.io.IOException: Cannot initialize Cluster. Please check your configuration …