HDFS详解之块大小和副本数

2024年1月17日 244次阅读 来源: Jaserok

1.HDFS
HDFS : 伪分布式（学习）
NN
DN
SNN
sbin/start-dfs.sh(开启hdfs使用的脚本)
bin/hdfs dfs -ls (输入命令加前缀bin/hdfs dfs）
2.block(块）
dfs.blocksize ： 134217728（字节） / 128M 官网默认一个块的大小128M
*举例理解块
1个文件 130M，默认一个块的大小128M
130/128=1…2M有两个块128M 2M

1个文件 260M 260/128=2…4M有三个块
2个128M 1个4M

每个瓶子容量128ML 1碗水260ML
需要3个瓶子
A 128mlB 128mlC 4ml

3.副本数
dfs.replication 1 / 3指的是一个块的复制数（1是在学习中，3是在生产中）
例如
*每个瓶子容量128ML 1碗水260ML
需要3个瓶子
A 128ml A 128ml A1 A2 A3 (A1 A2 A3 为副本数）
B 128ml B 128ml B1 B2 B3 …
C 4ml C 4ml C1 C2 C3 …

  • 260/128=2...4M  3个块

    实际有9个块= 33副本实际存储空间 260M3

面试题: 一个文件160m，副本数2，块大小128m,实际存储空间多少？块数量多少？
答：160/128=1…32 2个块
但是有副本数为2就是22=4个块
实际存储空间是1604=640m

    原文作者：Jaserok
    原文地址: https://blog.csdn.net/Jaserok/article/details/83065910
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞