在当前最流行的高性能并行体系结构中比较常用的并行编程环境分为两类:消息传递和共享存储。MPI是基于消息传递的经典代表，是消息传递井行程序设计的标准，用于构建高可靠的、可伸缩的、灵活的分布式应用程消息传递井行处理开销比较…

hadoop学习笔记之七：hadoop与Mongodb结合 – 陈华的博客 – ITeye技术网站 http://chenhua-1984.iteye.com/blog/2162576 mongo…

2.Spark之于Hadoop 更准确地说，Spark是一个计算框架，而Hadoop中包含计算框架MapReduce和分布式文件系统HDFS，Hadoop更广泛地说还包括在其生态系统上的其他系统，如Hbase、Hive等…

title: mapreduce调优 date: 2016/12/2 9:16:39 tags: MapReduce categories: 大数据 对应用程序进行调优 避免输入大量小文件。大量的小文件(不足一个bloc…

一、介绍 在MapReduce处理过程中主要分为四个阶段：Split（分片）阶段、Map阶段、Shuffle（混排、重拍）阶段、Reduce阶段。接下来笔者将会分别详细介绍着四个阶段，也会加上Hadoop2.6.0的源码…

背景 为了解MapReduce的原理，回头读了一遍了google的论文《MapReduce: Simplied Data Processing on Large Clusters》 <strong >问题&l…

$ ./nutch inject urls InjectorJob: starting at 2016-11-08 11:20:12 InjectorJob: Injecting urlDir: urls Injecto…

Hive出现的原因 Hadoop通过MapReduce（Hadoop和MapReduce后续我也会提到）可以将复杂的计算任务分割成多个处理单元然后分散到一群家用的或者服务器级别的硬件机器上，从而降低成本并提供运行可伸缩性…

说明 本文为自己配置单机版hadoop和spark的过程记录，仅供参考，因环境和版本问题，方法可能会有不同。如有错误，欢迎批评指正。 下载 hadoop： http://hadoop.apache.org/release…

本文介绍在E-MapReduce集群中HDFS服务集成Kerberos。 前置: 创建E-MapReduce集群，本文以非HA集群的HDFS为例 HDFS服务在hdfs账号下启动 HDFS软件包路径/usr/lib/ha…

在程序员开发并行程序时，Map-Reduce模式正变得流行起来。这些map-reduce程序通常来并行处理大量数据。本文来演示如何在Oracle数据库上，通过使用Parallel Pipelined Table函数及并行…

1、分发HDFS压缩文件（-cacheArchive） 需求：wordcount（只统计指定的单词【the,and,had…】），但是该文件存储在HDFS上的压缩文件,压缩文件内可能有多个文件，通过-cach…