HDFS副本机制

HDFS副本机制

目标:掌握HDFS的数据备份机制(数据副本)

HDFS视硬件错误为常态,硬件服务器随时有可能发生故障。

为了容错,文件的所有 block 都会有副本。每个文件的 block 大小和副本系数都是可配置的。应用程序可以指定某个文件的副本数目。副本系数可以在文件创建的时候指定,也可以在之后改变。

数据副本默认保存三个副本,我们可以更改副本数以提高数据的安全性

在hdfs-site.xml当中修改以下配置属性,即可更改文件的副本数

<property>
      <name>dfs.replication</name>
      <value>3</value>
</property>

低版本Hadoop副本节点选择:

  1. 第一个副本在client所处的节点上。如果客户端在集群外,随机选一个。
  2. 第二个副本和第一个副本位于不相同机架的随机节点上。
  3. 第三个副本和第二个副本位于相同机架,节点随机。

《HDFS副本机制》

Hadoop2.7.2副本节点选择:

  1. 第一个副本在client所处的节点上。如果客户端在集群外,随机选一个。
  2. 第二个副本和第一个副本位于相同机架,随机节点。
  3. 第三个副本位于不同机架,随机节点。

《HDFS副本机制》

    原文作者:Ele_sorriu
    原文地址: https://blog.csdn.net/Ele_sorriu/article/details/109036306
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞