CDH6.3.2平台使用的端口概览

Posted 2022-05-28 小基基o_O

文章目录

• Cloudera Manager和Cloudera Navigator使用的端口
• 点对点包裹分发中使用的端口
• 外部端口
• 内部端口
• CDH组件使用的外部端口
• CDH组件使用的内部端口
• DistCp 使用的端口
• 第三方组件使用的端口

Cloudera Manager和Cloudera Navigator使用的端口

点对点包裹分发中使用的端口

外部端口

组件	服务	端口	配置	说明
Cloudera Manager Server	HTTP (Web UI)	7180	管理 > 设置 > 类别 > 端口和地址 > HTTP 端口的管理控制台	web 控制台使用的 HTTP 端口
同上	HTTPS (Web UI)	7183	管理 > 设置 > 类别 > 端口和地址 > HTTPS 管理控制台端口	如果启用了 HTTPS，则 web 控制台使用的端口。如果启用，端口 7180 将保持打开，但是将所有请求重定向到端口 7183 上的 HTTPS
Cloudera Navigator Metadata Server	HTTP (Web UI)	7187	Cloudera Management Service > 配置 > 类别 > 端口和地址 > 导航器元数据服务器端口	Navigator 元数据服务器侦听请求的端口
Backup and Disaster Recovery	HTTP (Web UI)	7180	管理 > 设置 > 类别 > 端口和地址 > Admin Console 的 HTTP 端口	用于与 Cloudera Manager 通信
同上	HTTPS (Web UI)	7183	管理 > 设置 > 类别 > 端口和地址 > Admin Console 的 HTTPS 端口	在启用 https 时，用于与 Cloudera Manager 通信
同上	HDFS NameNode	8020	HDFS 服务 > 配置 > 类 > 端口和地址 > NameNode 端口	HDFS 和 Hive/Impala 复制: 从目标 HDFS 和 MapReduce 主机到源 HDFS NameNode(s) 的通信。Hive/Impala 复制: 从源 Hive 主机到目标 HDFS NameNode(s) 的通信
同上	HDFS DataNode	50010	HDFS 服务 > 配置 > 类 > 端口和地址 > DataNode 收发器端口	HDFS 和 Hive/Impala 复制: 从目标 HDFS 和 MapReduce 主机到源 HDFS DataNode(s) 的通信。Hive/Impala 复制: 从源 Hive 主机到目标 HDFS DataNode(s) 的通信
Telemetry Publisher(??)	HTTP	10110	集群 > Cloudera Management Service > 类别 > 端口和地址 > Telemetry Publisher Server Port	遥测发布服务器侦听请求的端口
Telemetry Publisher	HTTP (Debug)	10111	集群 > Cloudera Management Service > 类别 > 端口和地址 > Telemetry Publisher Web UI Port	遥测发布者启动调试 web 服务器的端口。设置为 - 1 以禁用调试服务器

内部端口

组件	服务	端口	配置	描述
Cloudera Manager Server	Avro (RPC)	7182	管理 > 设置 > 类 > 端口和地址 > 连接到服务器的代理端口	用于代理服务器心跳
同上	嵌入式 PostgreSQL 数据库	7432		可选的嵌入式 PostgreSQL 数据库，用于存储 Cloudera Manager 服务器的配置信息
同上	点对点包裹分布	7190, 7191	主机 > 所有主机 > 配置 > P2P Parcel 分配端口	用于在安装和升级操作期间向集群主机分发包
Cloudera Manager Agent 监听端口	Custom protocol	9000	/etc/cloudera-scm-agent/config.ini	用于检索日志和诊断信息，如结果摘要。已完成命令的 json 文件。还用于从代理请求即时心跳并查看代理状态，如心跳、主机和服务信息
Event Server	Custom protocol	7184	Cloudera Management Service > 配置 > 类别 > 端口和地址 > 事件发布端口	事件服务器侦听事件发布的端口
同上	Custom protocol	7185	Cloudera Management Service > 配置 > 类别 > 端口和地址 > 事件查询端口	事件服务器侦听事件查询的端口
同上	HTTP (Debug)	8084	Cloudera Management Service > 配置 > 类别 > 端口和地址 > Event Server Web UI 端口	事件服务器调试页面的端口。设置为 - 1 以禁用调试服务器
警报发布	Custom protocol	10101	Cloudera Management Service> 配置 > 类别 > 端口和地址 > 警报：侦听端口	警报发布者侦听内部 API 请求的端口
服务监控	HTTP (Debug)	8086	Cloudera Management Service> 配置 > 类别 > 端口和地址 >Service Monitor Web UI 端口	服务监视器调试页面的端口。设置为 - 1 以禁用调试服务器
同上	HTTPS (Debug)		Cloudera Management Service> 配置 > 类别 > 端口和地址 > Service Monitor Web UI HTTPS Port	服务监视器的 HTTPS 调试页面的端口
同上	Custom protocol	9997	Cloudera Management Service> 配置 > 类别 > 端口和地址 > Service Monitor 侦听端口	服务监视器监听代理消息的端口
同上	Internal query API (Avro)	9996	Cloudera Management Service> 配置 > 类别 > 端口和地址 > Service Monitor 喷嘴端口	服务监视器的查询 API 公开的端口
Activity Monitor	HTTP (Debug)	8087	Cloudera Management Service> 配置 > 类别 > 端口和地址 > Activity Monitor Web UI 端口	活动监视器调试页的端口。设置为 - 1 以禁用调试服务器
同上	HTTPS (Debug)		Cloudera Management Service> 配置 > 类别 > 端口和地址 > Activity Monitor Web UI HTTPS Port	活动监视器的 HTTPS 调试页面的端口
同上	Custom protocol	9999	Cloudera Management Service> 配置 > 类别 > 端口和地址 > Activity Monitor 侦听端口	活动监视器侦听代理消息的端口
同上	Internal query API (Avro)	9998	Cloudera Management Service> 配置 > 类别 > 端口和地址 > Activity Monitor 喷嘴端口	活动监视器的查询 API 公开的端口
Host Monitor	HTTP (Debug)	8091	Cloudera Management Service> 配置 > 类别 > 端口和地址 > Host Monitor Web UI 端口	主机监视器调试页的端口。设置为 - 1 以禁用调试服务器
同上	Custom protocol	9995	Cloudera Management Service> 配置 > 类别 > 端口和地址 >Host Monitor 侦听端口	主机监视器监听代理消息的端口
同上	Internal query API (Avro)	9994	Cloudera Management Service> 配置 > 类别 > 端口和地址 > Host Monitor 喷嘴端口	主机监视器的查询 API 公开的端口
Reports Manager	Queries (Thrift)	5678	Cloudera Management Service> 配置 > 类别 > 端口和地址 > Reports Manager Server Port	报告管理器侦听请求的端口
同上	HTTP (Debug)	8083	Cloudera Management Service> 配置 > 类别 > 端口和地址 > Reports Manager Web UI Port	报告管理器启动调试 web 服务器的端口。设置为 - 1 以禁用调试服务器
Cloudera Navigator 审计服务	HTTP	7186	Cloudera Management Service> 配置 > 类别 > 端口和地址 >Navigator Audit Server Port	导航器审计服务器侦听请求的端口
同上	HTTP (Debug)	8089	Cloudera Management Service> 配置 > 类别 > 端口和地址 >Navigator Audit Server Web UI Port	导航器审计服务器运行调试 web 服务器的端口。设置为 - 1 以禁用调试服务器

CDH组件使用的外部端口

组件	服务	端口	配置	说明
Apache Hadoop HDFS	DataNode	9866	dfs.datanode.address	DataNode HTTP 服务器端口
		1004	dfs.datanode.address
		9864	dfs.datanode.http.address
		9865	dfs.datanode.https.address
		1006	dfs.datanode.http.address
		9867	dfs.datanode.ipc.address
	NameNode	8020	fs.default.name or fs.defaultFS	已不推荐使用fs.default.nameis(但仍然可以使用)
		8022	dfs.namenode. servicerpc-address	HDFS 守护进程使用的可选端口，以避免共享客户端使用的 RPC 端口 (8020)。Cloudera 建议使用端口 8022
		9870	dfs.http.address or dfs.namenode.http-address	dfs.http.address 不推荐使用 (但仍然有效)
	NFS gateway	2049	nfs3.server.port	nfs port
		4242	nfs3.mountd.port	mountd port
		111		端口映射（或 Rpcbind）端口
		50079	nfs.http.port	NFS 网关守护进程使用这个端口来服务指标。该端口在版本 5.10 或更高版本上是可配置的
		50579	nfs.https.port	NFS 网关守护进程使用这个端口来服务指标。该端口在版本 5.10 或更高版本上是可配置的
	HttpFS	14000
		14001
Apache Hadoop YARN (MRv2)	ResourceManager	8032	yarn. resourcemanager. address
		8033	yarn. resourcemanager. admin.address
		8088	yarn. resourcemanager. webapp.address
		8090	yarn. resourcemanager. webapp.https.address
	NodeManager	8042	yarn. nodemanager. webapp.address
		8044	yarn. nodemanager. webapp.https.address
	JobHistory Server	19888	mapreduce. jobhistory. webapp.address
		19890	mapreduce. jobhistory. webapp.https.address
	ApplicationMaster			ApplicationMaster 使用无法限制的临时端口提供 HTTP 服务。客户端永远不会从集群外部直接访问此端口。对 ApplicationMaster web 服务器的所有请求都使用 YARN ResourceManager(代理服务) 路由。锁定对集群网络内临时端口范围的访问可能会限制您对 ApplicationMaster UI 及其日志的访问，以及查看正在运行的应用程序的能力
Apache Flume	Flume Agent	41414
Apache Hadoop KMS	Key Management Server	16000	kms_http_port	适用于 Java 密钥存储库 KMS 和密钥受信者 KMS
Apache HBase	Master	16000	hbase.master. port	IPC
		16010	hbase.master. info.port	HTTP
	RegionServer	16020	hbase. regionserver. port	IPC
		6030	hbase. regionserver. info.port	HTTP
	REST	20550	hbase.rest.port	HBase 中的默认 REST 端口是 8080。因为这是一个常用的端口，Cloudera Manager 将默认值设置为 20550
	REST UI	8085
	Thrift Server	9090	Pass -p on CLI
	Thrift Server	9095
		9090	Pass --port on CLI
	Lily HBase Indexer	11060
Apache Hive	Metastore	9083
	HiveServer2	10000	hive. server2. thrift.port	Beeline 命令解释器要求您在命令行上指定此端口。如果使用 Oracle 数据库，则必须手动保留此端口。有关更多信息，请参见HiveServer 2 的预留端口
	HiveServer2 Web User Interface (UI)	10002	hive. server2. webui.port in hive-site.xml
	WebHCat Server	50111	templeton.port
Apache Hue	Server	8888
	Load Balancer	8889
Apache Impala	Impala Daemon	21000		用于通过impala-shell和 Cloudera ODBC 驱动程序的 1.2 版传输命令和接收结果
		21050		用于通过应用程序 (如商业智能工具) 传输命令和接收结果，使用 JDBC、Hue 中的 Beeswax 查询编辑器和 Cloudera ODBC 驱动程序的 2.0 或更高版本
		25000		用于管理员监视和故障排除的 Impala web 接口
Apache Kafka	Broker	9092	port	生产者和消费者使用的主要通信端口; 也用于内部节点间通信
		9093	ssl_port	生产者和消费者使用的受保护的通信端口; 也用于节点间通信
Apache Kudu	Master	7051		Kudu Master RPC port
		8051		Kudu Master HTTP server port
	TabletServer	7050		Kudu TabletServer RPC port
		8050		Kudu TabletServer HTTP server port
Apache Oozie	Oozie Server	11000	OOZIE_HTTP_PORT in oozie-env.sh	HTTP
		11443		HTTPS
Apache Sentry	Sentry Server	8038	sentry.service. server.rpc-port
		51000	sentry.service. web.port
Apache Solr	Solr Server	8983		HTTP 端口的所有 solr 具体的行动，更新 / 查询
		8985		用于所有特定于 solr 的操作、更新 / 查询的 HTTPS 端口
Apache Spark	Default Master RPC port	7077
	Default Worker RPC port	7078
	Default Master web UI port	18080
	Default Worker web UI port	18081
	History Server	18088	history.port
Apache Sqoop	Metastore	16000	sqoop. metastore. server.port
Apache ZooKeeper	Server (with CDH or Cloudera Manager)	2181	clientPort	Client port

CDH组件使用的内部端口

组件	服务	端口	配置	说明
Apache Hadoop HDFS	Secondary NameNode	9868	dfs.secondary.http.address or dfs.namenode. secondary. http-address	dfs.secondary.http.address 不推荐使用 (但是依然有效)
		9869	dfs.secondary.https.address
	JournalNode	8485	dfs.namenode. shared.edits.dir
		8480	dfs.journalnode. http-address
		8481	dfs.journalnode. https-address
	Failover Controller	8019		用于 NameNode HA
Apache Hadoop YARN (MRv2)	ResourceManager	8030	yarn.resourcemanager.scheduler.address
		8031	yarn. resourcemanager. resource-tracker. address
	NodeManager	8040	yarn. nodemanager. localizer. address
		8041	yarn. nodemanager. address
	JobHistory Server	10020	mapreduce. jobhistory. address
		10033	mapreduce. jobhistory.admin. address
	Shuffle HTTP	13562	mapreduce.shuffle.port
Apache Hadoop KMS	Key Management Server	16001	kms_admin_port	适用于 Java 密钥存储库 KMS 和密钥受信者 KMS
Apache HBase	HQuorumPeer	2181	hbase. zookeeper. property. clientPort	HBase-managed 管理员模式
		2888	hbase. zookeeper. peerport	HBase-managed 管理员模式
		3888	hbase. zookeeper. leaderport	HBase-managed 管理员模式
Apache Impala	Impala Daemon	22000		内部使用。Impala 守护进程使用这个端口互相通信
		23000		内部使用。Impala 守护进程在这个端口上侦听来自 statestore 守护进程的更新
	StateStore Daemon	24000		内部使用。statestore 守护进程在这个端口上侦听注册 / 取消注册请求
	Catalog Daemon	23020		内部使用。目录守护进程在此端口上侦听来自 statestore 守护进程的更新
		26000		内部使用。目录服务使用这个端口与 Impala 守护进程通信
Apache Kafka	Broker	9092	port	生产者和消费者使用的主要通信端口; 也用于代理间通信。ion.
		9093	ssl_port	生产者和消费者使用的受保护的通信端口; 也用于代理间通信
		9393	jmx_port	内部使用。用于通过 JMX 进行管理
		9394	kafka.http.metrics.port	内部使用。这是 HTTP 度量报告器侦听的端口。它用于通过 HTTP 而不是 JMX 检索指标
	MirrorMaker	24042	jmx_port	内部使用。用于管理镜子制造商的生产者和消费者
Apache Spark	Shuffle service	7337
Apache ZooKeeper	Server (with CDH only)	2888	X in server.N =host:X:Y	Peer
	Server (with CDH only)	3888	X in server.N =host:X:Y	Peer
	Server (with CDH and Cloudera Manager)	3181	X in server.N =host:X:Y	Peer
	Server (with CDH and Cloudera Manager)	4181	X in server.N =host:X:Y	Peer
	ZooKeeper JMX port	9010		ZooKeeper 还将为 RMI 使用另一个随机选择的端口。要允许 Cloudera 管理员监视 ZooKeeper，您必须执行以下操作之一:

DistCp 使用的端口

组件	服务	Qualifier	端口	外 / 内部	配置	说明
Hadoop HDFS	NameNode		8020	External	fs.default. nameorfs.defaultFS	fs.default. name被弃用了（但还是有作用）
	DataNode	Secure	1004	External	dfs.datanode. address
	DataNode		50010	External	dfs.datanode. address
WebHDFS	NameNode		50070	External	dfs.http. addressordfs.namenode. http-address	dfs.http. address被弃用了（但还是有作用）
	DataNode	Secure	1006	External	dfs.datanode.http. address
HttpFS	web		14000

第三方组件使用的端口

组件	服务	Qualifier	端口	协议	外 / 内部	配置	说明
Ganglia	ganglia-gmond		8649	UDP/TCP	Internal
	ganglia-web		80	TCP	External	Via Apachehttpd
Kerberos	KRB5 KDC Server	Secure	88	UDP/TCP	External	kdc_portsandkdc_tcp_portsin either the[kdcdefaults]or[realms]sections ofkdc.conf	By default only UDP
	KRB5 Admin Server	Secure	749	TCP	External	kadmind_portin the[realms]section ofkdc.conf
	kpasswd		464	UDP/TCP	External
SSH	ssh		22	TCP	External
PostgreSQL			5432	TCP	Internal
MariaDB			3306	TCP	Internal
mysql			3306	TCP	Internal
LDAP	LDAP Server		389	TCP	External
	LDAP Server over TLS/SSL	TLS/SSL	636	TCP	External
	Global Catalog		3268	TCP	External
	Global Catalog over TLS/SSL	TLS/SSL	3269	TCP	External