MapReduce 之前用的和学的都比较多了，这里简单记一下论文中的一些小收获和感受

本文参考：Google MapReduce 中文版 1.0 版 译者 alex，原文地址 http://blademaster.ixiezi.com/

1. 介绍

MapReduce这个抽象模型来源于Lisp和其他函数式语言的Map和Reduce原语，可能近期大家接触的Python里也有用到这一原语，在Lambda中。

https://www.python-course.eu/lambda.php

相比我们常见的并行化MPI编程，MapReduce旨在实现一种自动并行化

2. 编程模型

map，和reduce函数输入与输出在类型上推到的域（domain）不同，中间值和输出相同。

这句话不是特别理解，应该是对类型的约束

3. 实现

M：Mapper个数，启动Mapper的个数和数据分片的个数一致

R：Reducer个数，启动Reducer的个数，和Map阶段完成后生成的写在临时区域的块数

关于M和R的取值，master需要进行O(M+R)次调度，在内存中储存O(M*R)个状态（1个字节/状态），M值尽量能把中间文件分割成16m-64M的临时数据以保证本地存储策略的优化效果，R值不要比worker机器数量多太多，尽量小倍数。

e.g. 2000台机器，M=2000000，R=5000

用户程序会fork好多进程，其中包括一个master去分配map和reduce操作，master就像一个数据管道，在mapper和reducer之间传递信息，最后R个reducer会产生R个文件。（如果同一个Reducer任务在多台机器上运行，依赖底层文件系统提供得重命名操作得原子性来保证文件系统状态仅仅包含一个Reduce产出的数据）

最后提一下备用（back up）任务这个实现，如果一个机器拖慢了MapReduce进度就非常尴尬了，导致整个进程都被拖慢，所以在Map reduce快执行完的时候master会把还没执行完的通过备用任务执行，只要有一个完成了就也是完成。

4. 技巧

自定义Reduce函数满足交换律和结合律可以用combiner先做本地Reduce以提高速度

• 约束了编程模式可以是并行和分布式计算变得容易透明，有利于构建容错的计算环境，因为程序员并不需要操心底层的工作问题。
• 提升网络资源的利用率是提升性能的关键
• 多次执行相同任务可减少许多负面影响（速度，丢失等），例如备份任务。

5. 参考

BSP和MPI可以参考

L. G. Valiant. A bridging model for parallel computation.Communications of the ACM, 33(8):103–111, 1997

William Gropp, Ewing Lusk, and Anthony Skjellum.Using MPI: Portable Parallel Programming with the Message-Passing Interface. MIT Press, Cambridge, MA,

数据本地优化策略参考active disks

L. Huston, R. Sukthankar, R. Wickremesinghe, M. Satyanarayanan, G. R. Ganger, E. Riedel, and A. Ailamaki. Diamond: A storage architecture for early discard in interactive search. In Proceedings of the 2004 USENIX File
and Storage Technologies FAST Conference, April 2004

Erik Riedel, Christos Faloutsos, Garth A. Gibson, and David Nagle. Active disks for large-scale data processing. IEEE Computer, pages 68–74, June 2001.

备份任务机制参考Charlotte System的eager调度机制

Remzi H. Arpaci-Dusseau, Eric Anderson, Noah Treuhaft, David E. Culler, Joseph M. Hellerstein, David
Patterson, and Kathy Yelick. Cluster I/O with River: Making the fast case common. In Proceedings of the Sixth Workshop on Input/Output in Parallel and Distributed Systems (IOPADS ’99), pages 10–22, Atlanta, Georgia,
May 1999.

调度参考Condor

Douglas Thain, Todd Tannenbaum, and Miron Livny. Distributed computing in practice: The Condor experience. Concurrency and Computation: Practice and Experience, 2004