Hadoop, HBase, Hive, ZooKeeper默认端口说明

组件 |Daemon |端口 |配置 |说明
–|
HDFS |DataNode |50010 |dfs.datanode.address |datanode服务端口,用于数据传输
| |50075 |dfs.datanode.http.address |http服务的端口
| |50475 |dfs.datanode.https.address |https服务的端口
| |50020 |dfs.datanode.ipc.address |ipc服务的端口
|NameNode |50070 |dfs.namenode.http-address |http服务的端口
| |50470 |dfs.namenode.https-address |https服务的端口
| |8020 |fs.defaultFS |接收Client连接的RPC端口,用于获取文件系统metadata信息。
|journalnode |8485 |dfs.journalnode.rpc-address |RPC服务
| |8480 |dfs.journalnode.http-address |HTTP服务
|ZKFC |8019 |dfs.ha.zkfc.port |ZooKeeper FailoverController,用于NN HA
YARN |ResourceManager |8032 |yarn.resourcemanager.address |RM的applications manager(ASM)端口
| |8030 |yarn.resourcemanager.scheduler.address |scheduler组件的IPC端口
| |8031 |yarn.resourcemanager.resource-tracker.address |IPC
| |8033 |yarn.resourcemanager.admin.address |IPC
| |8088 |yarn.resourcemanager.webapp.address |http服务端口
|NodeManager |8040 |yarn.nodemanager.localizer.address |localizer IPC
| |8042 |yarn.nodemanager.webapp.address |http服务端口
| |8041 |yarn.nodemanager.address |NM中container manager的端口
|JobHistory Server |10020 |mapreduce.jobhistory.address |IPC
| |19888 |mapreduce.jobhistory.webapp.address |http服务端口
HBase |Master |60000 |hbase.master.port |IPC
| |60010 |hbase.master.info.port |http服务端口
|RegionServer |60020 |hbase.regionserver.port |IPC
| |60030 |hbase.regionserver.info.port |http服务端口
|HQuorumPeer |2181 |hbase.zookeeper.property.clientPort |HBase-managed ZK mode,使用独立的ZooKeeper集群则不会启用该端口。
| |2888 |hbase.zookeeper.peerport |HBase-managed ZK mode,使用独立的ZooKeeper集群则不会启用该端口。
| |3888 |hbase.zookeeper.leaderport |HBase-managed ZK mode,使用独立的ZooKeeper集群则不会启用该端口。
Hive |Metastore |9083 |/etc/default/hive-metastore中export PORT=<port>来更新默认端口 |
|HiveServer |10000 |/etc/hive/conf/hive-env.sh中export HIVE_SERVER2_THRIFT_PORT=<port>来更新默认端口 |
ZooKeeper |Server |2181 |/etc/zookeeper/conf/zoo.cfg中clientPort=<port> |对客户端提供服务的端口
| |2888 |/etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn],标蓝部分 |follower用来连接到leader,只在leader上监听该端口。
| |3888 |/etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn],标蓝部分 |用于leader选举的。只在electionAlg是1,2或3(默认)时需要。

所有端口协议均基于TCP。

对于存在Web UI(HTTP服务)的所有hadoop daemon,有如下url:

  • /logs
    日志文件列表,用于下载和查看

  • /logLevel
    允许你设定log4j的日志记录级别,类似于hadoop daemonlog

  • /stacks
    所有线程的stack trace,对于debug很有帮助

  • /jmx
    服务端的Metrics,以JSON格式输出。

    /jmx?qry=Hadoop:*会返回所有hadoop相关指标。
    /jmx?get=MXBeanName::AttributeName 查询指定bean指定属性的值,例如/jmx? get=Hadoop:service=NameNode,name=NameNodeInfo::ClusterId会返回ClusterId。
    这个请求的处理类:org.apache.hadoop.jmx.JMXJsonServlet

而特定的Daemon又有特定的URL路径特定相应信息。

NameNode:http://:50070/

  • /dfshealth.jsp
    HDFS信息页面,其中有链接可以查看文件系统

  • /dfsnodelist.jsp?whatNodes=(DEAD|LIVE)
    显示DEAD或LIVE状态的datanode

  • /fsck
    运行fsck命令,不推荐在集群繁忙时使用!

DataNode:http://:50075/

  • /blockScannerReport
    每个datanode都会指定间隔验证块信息

更多说明

    原文作者:samYau
    原文地址: https://www.jianshu.com/p/2921fb6f6ff0
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞