HDFS short circuit local read HDFS client 和 HDFS datanode 通过 TCP socket 进行通信，client 发起请求，datanode读取数据，通过RPC将数据…

hadoop成功启动后，然后输入命令stop-all.sh，用命令hdfs namenode -format进行namnode重新格式化后，datanode无法启动的原因{网址：http://www.aboutyun.c…

组件 |Daemon |端口 |配置 |说明 –| HDFS |DataNode |50010 |dfs.datanode.address |datanode服务端口，用于数据传输 | |50075 |dfs…

1、hadoop的各种进程及其作用 NameNode：是hdfs的主服务器，管理文件系统的目录树以及对集群中存储文件的访问，保存有metadate，不断读取记录集群中dataNode主机状况和工作状态。 Secondar…

主要记录实际项目中遇到问题以及解决方式。 1、伪分布式部署时，若core-site.xml文件中采用如下图所示配置，其他应用与Hadoop非部署在同一台服务器时，其他应用会无法连上Hadoop。    …

2018.9.7    周记（一） （一）SecureCRT 8.3小tips （二）hadoop安装，简单使用中碰到的坑 SecureCRT 可以通过直接拖拽的方式上传文件，想想以前还特意下一个上传…

从上一篇文章中我们已经知道了NameNode和Secondary NameNode的职责，这篇文章我们主要讲讲我们怎么往DataNode上写数据和读数据。 DataNode的写操作流程 DataNode的写操作流程可以分…

1. 说明  Hadoop是个分布式的架构，它将海量数据处理工作分配到集群中的多个机器上运行。前篇介绍了Hadoop的安装，在安装过程中会产生一些疑问，比如NameNode是什么东西？本篇就以问题&解答的方式介绍…

系列目录： Hadoop实战（1）_阿里云搭建Hadoop2.x的伪分布式环境 Hadoop实战（2）_虚拟机搭建Hadoop的全分布模式 Hadoop实战（3）_虚拟机搭建CDH的全分布模式 DataNode数据目录 …

问题描述： vm内建立三个Ubuntu（16.04）虚拟机，配合物理主机（ubuntu16.04）搭建hadoop完全分布式环境，物理主机 作为master节点，vm内的三个Ubuntu虚拟机作为datanode节点。但…

Hdfs 的基础架构 Hdfs基础架构 如上图所示。 默认情况下，Hdfs 由一个 Namenode 和多个 DataNode 组成。 hdfs作为一个分布式文件存储系统，他的文件路径和文件内容是相互隔离的。 文件路径信…

image.png 我们的机器 由于 日志量大 又开始了扩容，hadoop 2.8 不支持 disk volume level rebalance ，hadoop 3.0支持，可是 我们安装的是2.8，所以只能通过添加新…