port
Each part usually use Hadoop cluster to multiple ports, some of which are of use to interact between daemon, RPC access, and some are used for HTTP access. With the increase of peripheral components of Hadoop, which fully corresponds to which port the application can not remember, so special collection records for the query. Here we use to contain components: HDFS, YARN, HBase, Hive, ZooKeeper:
| Package | node | The default port | Configuration | Instructions for use |
| HDFS | DataNode | 50010 | dfs.datanode.address | datanode service port for data transmission |
| HDFS | DataNode | 50075 | dfs.datanode.http.address | Http port services |
| HDFS | DataNode | 50475 | dfs.datanode.https.address | Https port services |
| HDFS | DataNode | 50020 | dfs.datanode.ipc.address | Ipc port services |
| HDFS | NameNode | 50070 | dfs.namenode.http-address | Http port services |
| HDFS | NameNode | 50470 | dfs.namenode.https-address | Https port services |
| HDFS | NameNode | 8020 | fs.defaultFS | Client receives the RPC ports connected to, information for acquiring the file system metadata. |
| HDFS | journalnode | 8485 | dfs.journalnode.rpc-address | RPC Service |
| HDFS | journalnode | 8480 | dfs.journalnode.http-address | HTTP Service |
| HDFS | ZKFC | 8019 | dfs.ha.zkfc.port | ZooKeeper FailoverController, for NN HA |
| YARN | ResourceManager | 8032 | yarn.resourcemanager.address | RM's applications manager (ASM) port |
| YARN | ResourceManager | 8030 | yarn.resourcemanager.scheduler.address | IPC port scheduler component |
| YARN | ResourceManager | 8031 | yarn.resourcemanager.resource-tracker.address | IPC |
| YARN | ResourceManager | 8033 | yarn.resourcemanager.admin.address | IPC |
| YARN | ResourceManager | 8088 | yarn.resourcemanager.webapp.address | http service port |
| YARN | NodeManager | 8040 | yarn.nodemanager.localizer.address | localizer IPC |
| YARN | NodeManager | 8042 | yarn.nodemanager.webapp.address | http service port |
| YARN | NodeManager | 8041 | yarn.nodemanager.address | NM port in container manager |
| YARN | JobHistory Server | 10020 | mapreduce.jobhistory.address | IPC |
| YARN | JobHistory Server | 19888 | mapreduce.jobhistory.webapp.address | http service port |
| HBase | Master | 60000 | hbase.master.port | IPC |
| HBase | Master | 60010 | hbase.master.info.port | http service port |
| HBase | RegionServer | 60020 | hbase.regionserver.port | IPC |
| HBase | RegionServer | 60030 | hbase.regionserver.info.port | http service port |
| HBase | HQuorumPeer | 2181 | hbase.zookeeper.property.clientPort | HBase-managed ZK mode, use a separate ZooKeeper cluster does not enable the port. |
| HBase | HQuorumPeer | 2888 | hbase.zookeeper.peerport | HBase-managed ZK mode, use a separate ZooKeeper cluster does not enable the port. |
| HBase | HQuorumPeer | 3888 | hbase.zookeeper.leaderport | HBase-managed ZK mode, use a separate ZooKeeper cluster does not enable the port. |
| Hive | Metastore | 9083 | / Etc / default / hive-metastore the export PORT = <port> to update the default port | |
| Hive | HiveServer | 10000 | /etc/hive/conf/hive-env.sh the export HIVE_SERVER2_THRIFT_PORT = <port> to update the default port | |
| ZooKeeper | Server | 2181 | /etc/zookeeper/conf/zoo.cfg中clientPort=<port> | Port provides services to clients |
| ZooKeeper | Server | 2888 | /etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn]，标蓝部分 | follower用来连接到leader，只在leader上监听该端口。 |
| ZooKeeper | Server | 3888 | /etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn]，标蓝部分 | 用于leader选举的。只在electionAlg是1,2或3(默认)时需要。 |
所有端口协议均基于TCP。
URL
对于存在Web UI（HTTP服务）的所有hadoop daemon，有如下url：
/jmx?get=MXBeanName::AttributeName 查询指定bean指定属性的值，例如/jmx?get=Hadoop:service=NameNode,name=NameNodeInfo::ClusterId会返回ClusterId。 这个请求的处理类：org.apache.hadoop.jmx.JMXJsonServlet
/logs ：日志文件列表，用于下载和查看
/logLevel ：允许你设定log4j的日志记录级别，类似于hadoop daemonlog
/stacks ：所有线程的stack trace，对于debug很有帮助
/jmx ：服务端的Metrics，以JSON格式输出。
/jmx?qry=Hadoop:*会返回所有hadoop相关指标。
NameNode:http://:50070/
/dfshealth.jsp：HDFS信息页面，其中有链接可以查看文件系统
/dfsnodelist.jsp?whatNodes=(DEAD|LIVE)：显示DEAD或LIVE状态的datanode
/fsck：运行fsck命令，不推荐在集群繁忙时使用！
DataNode:http://:50075/
/blockScannerReport：每个datanode都会指定间隔验证块信息
RPC
RPC（Remote Procedure Call Protocol）——远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更加容易。
RPC采用客户机/服务器模式。请求程序就是一个客户机，而服务提供程序就是一个服务器。首先，客户机调用进程发送一个有进程参数的调用信息到服务进程，然后等待应答信息。在服务器端，进程保持睡眠状态直到调用信息到达为止。当一个调用信息到达，服务器获得进程参数，计算结果，发送答复信息，然后等待下一个调用信息，最后，客户端调用进程接收答复信息，获得进程结果，然后调用执行继续进行。
有多种 RPC模式和执行。最初由 Sun 公司提出。IETF ONC 宪章重新修订了 Sun 版本，使得 ONC RPC 协议成为 IETF 标准协议。现在使用最普遍的模式和执行是开放式软件基础的分布式计算环境（DCE）。
Hadoop IPC
IPC
- 实现RPC的一种方法，具有快速、简单的特点。 它不像Sun公司提供的标准RPC包，基于Java序列化。
- IPC无需创建网络stubs和skeletons。
- IPC中的方法调用要求参数和返回值的数据类型必须是Java的基本类型，String和Writable接口的实现类，以及元素为以上类型的数组。接口方法应该只抛出IOException异常。
使用模型
- 采用客户/服务器模型
- Server：它把Java接口暴露给客户端。指定好监听端口和接受远程调用的对象实例后，通过RPC.getServer()可以得到Server实例。
- Client：连接Server，调用它所暴露的方法。Client必须指定远程机器的地址，端口和Java接口类，通过RPC.getClient()可以得到Client实例。
- Server不可以向Client发出调用，但在Hadoop中，有双向调用的需求。 比如在DFS，NameNode和DataNode需要互相了解状态。
参考博客：
http://blog.csdn.net/jpc00939/article/details/79014613
http://blog.csdn.net/wulantian/article/details/46341043