hadoop三个配置文件的参数含义说明

Posted 2022-10-22 yhao浩

hadoop常用端口配置

1. HDFS端口

参数	描述	默认	配置文件	例子值
fs.default.name	namenode RPC交互端口	8020	core-site.xml	hdfs://master:8020/
dfs.http.address	NameNode web管理端口	50070	hdfs- site.xml	0.0.0.0:50070
dfs.datanode.address	datanode　控制端口	50010	hdfs -site.xml	0.0.0.0:50010
dfs.datanode.ipc.address	datanode的RPC服务器地址和端口	50020	hdfs-site.xml	0.0.0.0:50020
dfs.datanode.http.address	datanode的HTTP服务器和端口	50075	hdfs-site.xml	0.0.0.0:50075

2. MR端口

参数	描述	默认	配置文件	例子值
mapred.job.tracker	job-tracker交互端口	8021	mapred-site.xml	hdfs://master:8021/
job	tracker的web管理端口	50030	mapred-site.xml	0.0.0.0:50030
mapred.task.tracker.http.address	task-tracker的HTTP端口	50060	mapred-site.xml	0.0.0.0:50060

3. 其他端口

参数	描述	默认	配置文件	例子值
dfs.secondary.http.address	secondary NameNode web管理端口	50090	hdfs-site.xml	0.0.0.0:50090

缺省配置参考文件说明

1. core-default.xml

序号	参数名	参数值	参数说明
1	hadoop.tmp.dir	/tmp/hadoop-$user.name	临时目录设定
2	hadoop.native.lib	true	使用本地hadoop库标识。
3	hadoop.http.filter.initializers		http服务器过滤链设置
4	hadoop.security.group.mapping	org.apache.hadoop.security.ShellBasedUnixGroupsMapping	组内用户的列表的类设定
5	hadoop.security.authorization	false	服务端认证开启
6	hadoop.security.authentication	simple	无认证或认证设置
7	hadoop.security.token.service.use_ip	true	是否开启使用IP地址作为连接的开关
8	hadoop.logfile.size	10000000	日志文件最大为10M
9	hadoop.logfile.count	10	日志文件数量为10个
10	io.file.buffer.size	4096	流文件的缓冲区为4K
11	io.bytes.per.checksum	512	校验位数为512字节
12	io.skip.checksum.errors	false	校验出错后是抛出异常还是略过标识。True则略过。
13	io.compression.codecs	org.apache.hadoop.io.compress.DefaultCodec, org.apache.hadoop.io.compress.GzipCodec, org.apache.hadoop.io.compress.BZip2Codec, org.apache.hadoop.io.compress.SnappyCodec	压缩和解压的方式设置
14	io.serializations	org.apache.hadoop.io.serializer.WritableSerialization	序例化和反序列化的类设定
15	fs.default.name	file:///	缺省的文件URI标识设定。
16	fs.trash.interval	0	文件废弃标识设定，0为禁止此功能
17	fs.file.impl	org.apache.hadoop.fs.LocalFileSystem	本地文件操作类设置
18	fs.hdfs.impl	org.apache.hadoop.hdfs.DistributedFileSystem	HDFS文件操作类设置
19	fs.s3.impl	org.apache.hadoop.fs.s3.S3FileSystem	S3文件操作类设置
20	fs.s3n.impl	org.apache.hadoop.fs.s3native.NativeS3FileSystem	S3文件本地操作类设置
21	fs.kfs.impl	org.apache.hadoop.fs.kfs.KosmosFileSystem	KFS文件操作类设置.
22	fs.hftp.impl	org.apache.hadoop.hdfs.HftpFileSystem	HTTP方式操作文件设置
23	fs.hsftp.impl	org.apache.hadoop.hdfs.HsftpFileSystem	HTTPS方式操作文件设置
24	fs.webhdfs.impl	org.apache.hadoop.hdfs.web.WebHdfsFileSystem	WEB方式操作文件类设置
25	fs.ftp.impl	org.apache.hadoop.fs.ftp.FTPFileSystem	FTP文件操作类设置
26	fs.ramfs.impl	org.apache.hadoop.fs.InMemoryFileSystem	内存文件操作类设置
27	fs.har.impl	org.apache.hadoop.fs.HarFileSystem	压缩文件操作类设置.
28	fs.har.impl.disable.cache	true	是否缓存har文件的标识设定
29	fs.checkpoint.dir	$hadoop.tmp.dir/dfs/namesecondary	备份名称节点的存放目前录设置
30	fs.checkpoint.edits.dir	$fs.checkpoint.dir	备份名称节点日志文件的存放目前录设置
31	fs.checkpoint.period	3600	动态检查的间隔时间设置
32	fs.checkpoint.size	67108864	日志文件大小为64M
33	fs.s3.block.size	67108864	写S3文件系统的块的大小为64M
34	fs.s3.buffer.dir	$hadoop.tmp.dir/s3	S3文件数据的本地存放目录
35	fs.s3.maxRetries	4	S3文件数据的偿试读写次数
36	fs.s3.sleepTimeSeconds	10	S3文件偿试的间隔
37	local.cache.size	10737418240	缓存大小设置为10GB
38	io.seqfile.compress.blocksize	1000000	压缩流式文件中的最小块数为100万
39	io.seqfile.lazydecompress	true	块是否需要压缩标识设定
40	io.seqfile.sorter.recordlimit	1000000	内存中排序记录块类最小为100万
41	io.mapfile.bloom.size	1048576	BloomMapFiler过滤量为1M
42	io.mapfile.bloom.error.rate	0.005
43	hadoop.util.hash.type	murmur	缺少hash方法为murmur
44	ipc.client.idlethreshold	4000	连接数据最小阀值为4000
45	ipc.client.kill.max	10	一个客户端连接数最大值为10
46	ipc.client.connection.maxidletime	10000	断开与服务器连接的时间最大为10秒
47	ipc.client.connect.max.retries	10	建立与服务器连接的重试次数为10次< 以上是关于hadoop三个配置文件的参数含义说明的主要内容，如果未能解决你的问题，请参考以下文章 quartz配置参数org.quartz.jobStore.misfireThreshold含义解释 redis学习之三配置文件redis.conf 的含义 简述hdfs-site.xml配置文件中需要配置的三个属性名称及其含义？ Redis配置文件各项参数说明 hadoop MapReduce 读取配置参数 linux中shell变量$#,$@,$0,$1,$2的含义解释