Hadoop2.x与Hadoop3.x副本节点选择机制

Hadoop3的第一个稳定版已经于2017年12月发布，生产环境中已逐步取代Hadoop2，本篇文章主要介绍Hadoop3在副本节点选择机制上的改进。

一、Hadoop3.x的副本节点选择机制

第一个副本在Client所处的节点上。如果客户端在集群外，随机选一个。
第二个副本在另一个机架的随机一个节点。
第三个副本在第二个副本所在机架的随机节点。

二、Hadoop2.x的副本节点选择机制

第一个副本在Client所处的节点上。如果客户端在集群外，随机选一个。
第二个副本和第一个副本位于相同机架，随机节点。
第三个副本位于不同机架，随机节点。

三、改进的优缺点

Hadoop3.x在副本节点选择的改进上，更多的考虑了网络传输的安全性问题，将第二副本保存至另外机架上，可以避免Hadoop2.x中第一第二副本位于同一机架上断电的情况，避免数据的丢失。

（以上为个人观点，如有不同欢迎前来讨论学习）