Hadoop配置文件详解（core-site.xml、hdfs-site.xm、mapred-site.xml、yarn-site.xml）

诸葛利

2023-12-01

Hadoop可配置参数详解

Hadoop可配置参数详解

配置文件名	配置对象	主要内容
core-site.xml	集群全局参数	用于定义系统级别的参数，如HDFS URL、Hadoop的临时目录等
hdfs-site.xml	HDFS参数	如名称节点和数据节点的存放位置、文件副本的个数、文件读取权限等
mapred-site.xml	Mapreduce参数	包括JobHistory Server和应用程序参数两部分，如reduce任务的默认个数、任务所能够使用内存的默认上下限等
yarn-site.xml	集群资源管理系统参数	配置 ResourceManager，NodeManager 的通信端口，web监控端口等

<1> core-site.xml

name	value	Description
fs.default.name	hdfs://master:9000	定义master的URI和端口
fs.checkpoint.dir	${hadoop.tmp.dir}(默认) /dfs/namesecondary	SNN的元数据以,号隔开,hdfs会把元数据冗余复制到这些目录，一般这些目录是不同的块设备，不存在的目录会被忽略掉
fs.checkpoint.period	1800	定义ND的备份间隔时间，秒为单位，只对SNN效，默认一小时
fs.checkpoint.size	33554432	以日志大小间隔做备份间隔，只对SNN生效，默认64M
fs.checkpoint.edits.dir	${fs.checkpoint.dir}(默认)	SNN的事务文件存储的目录,以,号隔开,hdfs会把事务文件冗余复制到这些目录
fs.trash.interval	10800	HDFS垃圾箱设置，可以恢复误删除，分钟数，0为禁用，添加该项无需重启hadoop
hadoop.tmp.dir	/tmp/Hadoop	临时文件夹，指定后需将使用到的所有子级文件夹都要手动创建出来，否则无法正常启动服务。
hadoop.http.filter.initializers	org.apache.hadoop.security. AuthenticationFilterInitializer (排版调整，实际配置不要回车)	需要jobtracker,tasktracker NN,DN等http访问端口用户验证使用，需配置所有节点
hadoop.http.authentication.type	simple \| kerberos \| #AUTHENTICATION_HANDLER_CLASSNAME#	验证方式，默认为简单，也可自己定义class,需配置所有节点
hadoop.http.authentication.token.validity	36000	验证令牌的有效时间,需配置所有节点
hadoop.http.authentication.signature.secret	默认可不写参数	默认不写在hadoop启动时自动生成私密签名,需配置所有节点
hadoop.http.authentication.cookie.domain	domian.tld	http验证所使用的cookie的域名，IP地址访问则该项无效，必须给所有节点都配置域名才可以。
hadoop.http.authentication. simple.anonymous.allowed	true \| false	简单验证专用，默认允许匿名访问，true
hadoop.http.authentication.kerberos.principal	HTTP/localhost@$LOCALHOST	Kerberos验证专用，参加认证的实体机必须使用HTTP作为K的Name
hadoop.http.authentication.kerberos.keytab	/home/xianglei/hadoop.keytab	Kerberos验证专用，密钥文件存放位置
hadoop.security.authorization	true\|false	Hadoop服务层级验证安全验证，需配合hadoop-policy.xml使用，配置好以后用dfsadmin,mradmin -refreshServiceAcl刷新生效
hadoop.security.authentication	simple \| kerberos	hadoop本身的权限验证，非http访问，simple或者kerberos
hadoop.logfile.size	1000000000	设置日志文件大小，超过则滚动新日志
hadoop.logfile.count	20	最大日志数
io.bytes.per.checksum	1024	每校验码所校验的字节数，不要大于io.file.buffer.size
io.skip.checksum.errors	true \| false	处理序列化文件时跳过校验码错误，不抛异常。默认false
io.serializations	org.apache.hadoop.io.serializer.WritableSerialization	序列化的编解码器
io.seqfile.compress.blocksize	1024000	块压缩的序列化文件的最小块大小，字节
io.compression.codecs	org.apache.hadoop.io.compress.DefaultCodec, com.hadoop.compression.lzo.LzoCodec, com.hadoop.compression.lzo.LzopCodec, org.apache.hadoop.io.compress.GzipCodec, org.apache.hadoop.io.compress.BZip2Codec, org.apache.hadoop.io.compress.SnappyCodec (排版调整，实际配置不要回车)	Hadoop所使用的编解码器，gzip、bzip2为自带，lzo需安装hadoopgpl或者kevinweil，逗号分隔。 snappy需要单独安装并修改hadoop-env.sh配置LD_LIBRARY_PATH=snappy类库位置
io.compression.codec.lzo.class	com.hadoop.compression.lzo.LzoCodec	LZO所使用的压缩编码器
io.file.buffer.size	131072	用作序列化文件处理时读写buffer的大小
webinterface.private.actions	true \| false	设为true，则JT和NN的tracker网页会出现杀任务删文件等操作连接，默认是false
topology.script.file.name	/hadoop/bin/RackAware.py	机架感知脚本位置
topology.script.number.args	1000	机架感知脚本管理的主机数，IP地址

<2> hdfs-site.xml

name	value	Description
dfs.default.chunk.view.size	32768	namenode的http访问页面中针对每个文件的内容显示大小，通常无需设置。
dfs.datanode.du.reserved	1073741824	每块磁盘所保留的空间大小，需要设置一些，主要是给非hdfs文件使用，默认是不保留，0字节
dfs.name.dir	/opt/data1/hdfs/name, /opt/data2/hdfs/name, /nfs/data/hdfs/name	NN所使用的元数据保存，一般建议在nfs上保留一份，作为1.0的HA方案使用，也可以在一台服务器的多块硬盘上使用
dfs.web.ugi	nobody,nobody	NN,JT等所使用的web tracker页面服务器所使用的用户和组
dfs.permissions	true \| false	dfs权限是否打开，我一般设置false，通过开发工具培训别人界面操作避免误操作，设置为true有时候会遇到数据因为权限访问不了。
dfs.permissions.supergroup	supergroup	设置hdfs超级权限的组，默认是supergroup，启动hadoop所使用的用户通常是superuser。
dfs.data.dir	/opt/data1/hdfs/data, /opt/data2/hdfs/data, /opt/data3/hdfs/data, ...	真正的datanode数据保存路径，可以写多块硬盘，逗号分隔
dfs.datanode.data.dir.perm	755	datanode所使用的本地文件夹的路径权限，默认755
dfs.replication	3	hdfs数据块的复制份数，默认3，理论上份数越多跑数速度越快，但是需要的存储空间也更多。有钱人可以调5或者6
dfs.replication.max	512	有时dn临时故障恢复后会导致数据超过默认备份数。复制份数的最多数，通常没什么用，不用写配置文件里。
dfs.replication.min	1	最小份数，作用同上。
dfs.block.size	134217728	每个文件块的大小，我们用128M，默认是64M。这个计算需要128*1024^2，我碰上过有人直接写128000000，十分浪漫。
dfs.df.interval	60000	磁盘用量统计自动刷新时间，单位是毫秒。
dfs.client.block.write.retries	3	数据块写入的最多重试次数，在此次数之前不会捕获失败。
dfs.heartbeat.interval	3	DN的心跳检测时间间隔。秒
dfs.namenode.handler.count	10	NN启动后展开的线程数。
dfs.balance.bandwidthPerSec	1048576	做balance时所使用的每秒最大带宽，使用字节作为单位，而不是bit
dfs.hosts	/opt/hadoop/conf/hosts.allow	一个主机名列表文件，这里的主机是允许连接NN的，必须写绝对路径，文件内容为空则认为全都可以。
dfs.hosts.exclude	/opt/hadoop/conf/hosts.deny	基本原理同上，只不过这里放的是禁止访问NN的主机名称列表。这在从集群中摘除DN会比较有用。
dfs.max.objects	0	dfs最大并发对象数，HDFS中的文件，目录块都会被认为是一个对象。0表示不限制
dfs.replication.interval	3	NN计算复制块的内部间隔时间，通常不需写入配置文件。默认就好
dfs.support.append	true \| false	新的hadoop支持了文件的APPEND操作，这个就是控制是否允许文件APPEND的，但是默认是false，理由是追加还有bug。
dfs.datanode.failed.volumes.tolerated	0	能够导致DN挂掉的坏硬盘最大数，默认0就是只要有1个硬盘坏了，DN就会shutdown。
dfs.secondary.http.address	0.0.0.0:50090	SNN的tracker页面监听地址和端口
dfs.datanode.address	0.0.0.0:50010	DN的服务监听端口，端口为0的话会随机监听端口，通过心跳通知NN
dfs.datanode.http.address	0.0.0.0:50075	DN的tracker页面监听地址和端口
dfs.datanode.ipc.address	0.0.0.0:50020	DN的IPC监听端口，写0的话监听在随机端口通过心跳传输给NN
dfs.datanode.handler.count	3	DN启动的服务线程数
dfs.http.address	0.0.0.0:50070	NN的tracker页面监听地址和端口
dfs.https.enable	true \| false	NN的tracker是否监听在HTTPS协议，默认false
dfs.datanode.https.address	0.0.0.0:50475	DN的HTTPS的tracker页面监听地址和端口
dfs.https.address	0.0.0.0:50470	NN的HTTPS的tracker页面监听地址和端口
dfs.datanode.max.xcievers	2048	相当于linux下的打开文件最大数量，文档中无此参数，当出现DataXceiver报错的时候，需要调大。默认256

<3>mapred-site.xml

name	value	Description
hadoop.job.history.location		job历史文件保存路径，无可配置参数，也不用写在配置文件里，默认在logs的history文件夹下。
hadoop.job.history.user.location		用户历史文件存放位置
io.sort.factor	30	这里处理流合并时的文件排序数，我理解为排序时打开的文件数
io.sort.mb	600	排序所使用的内存数量，单位兆，默认1，我记得是不能超过mapred.child.java.opt设置，否则会OOM
mapred.job.tracker	hadoopmaster:9001	连接jobtrack服务器的配置项，默认不写是local，map数1，reduce数1
mapred.job.tracker.http.address	0.0.0.0:50030	jobtracker的tracker页面服务监听地址
mapred.job.tracker.handler.count	15	jobtracker服务的线程数
mapred.task.tracker.report.address	127.0.0.1:0	tasktracker监听的服务器，无需配置，且官方不建议自行修改
mapred.local.dir	/data1/hdfs/mapred/local, /data2/hdfs/mapred/local, ...	mapred做本地计算所使用的文件夹，可以配置多块硬盘，逗号分隔
mapred.system.dir	/data1/hdfs/mapred/system, /data2/hdfs/mapred/system, ...	mapred存放控制文件所使用的文件夹，可配置多块硬盘，逗号分隔。
mapred.temp.dir	/data1/hdfs/mapred/temp, /data2/hdfs/mapred/temp, ...	mapred共享的临时文件夹路径，解释同上。
mapred.local.dir.minspacestart	1073741824	本地运算文件夹剩余空间低于该值则不在本地做计算。字节配置，默认0
mapred.local.dir.minspacekill	1073741824	本地计算文件夹剩余空间低于该值则不再申请新的任务，字节数，默认0
mapred.tasktracker.expiry.interval	60000	TT在这个时间内没有发送心跳，则认为TT已经挂了。单位毫秒
mapred.map.tasks	2	默认每个job所使用的map数，意思是假设设置dfs块大小为64M，需要排序一个60M的文件，也会开启2个map线程，当jobtracker设置为本地是不起作用。
mapred.reduce.tasks	1	解释同上
mapred.jobtracker.restart.recover	true \| false	重启时开启任务恢复，默认false
mapred.jobtracker.taskScheduler	org.apache.hadoop.mapred. CapacityTaskScheduler org.apache.hadoop.mapred. JobQueueTaskScheduler org.apache.hadoop.mapred. FairScheduler	重要的东西，开启任务管理器，不设置的话，hadoop默认是FIFO调度器，其他可以使用公平和计算能力调度器
mapred.reduce.parallel.copies	10	reduce在shuffle阶段使用的并行复制数，默认5
mapred.child.java.opts	-Xmx2048m -Djava.library.path= /opt/hadoopgpl/native/ Linux-amd64-64	每个TT子进程所使用的虚拟机内存大小
tasktracker.http.threads	50	TT用来跟踪task任务的http server的线程数
mapred.task.tracker.http.address	0.0.0.0:50060	TT默认监听的httpIP和端口，默认可以不写。端口写0则随机使用。
mapred.output.compress	true \| false	任务结果采用压缩输出，默认false，建议false
mapred.output.compression.codec	org.apache.hadoop.io. compress.DefaultCodec	输出结果所使用的编解码器，也可以用gz或者bzip2或者lzo或者snappy等
mapred.compress.map.output	true \| false	map输出结果在进行网络交换前是否以压缩格式输出，默认false，建议true，可以减小带宽占用，代价是会慢一些。
mapred.map.output.compression.codec	com.hadoop.compression. lzo.LzoCodec	map阶段压缩输出所使用的编解码器
map.sort.class	org.apache.hadoop.util. QuickSort	map输出排序所使用的算法，默认快排。
mapred.hosts	conf/mhost.allow	允许连接JT的TT服务器列表，空值全部允许
mapred.hosts.exclude	conf/mhost.deny	禁止连接JT的TT列表，节点摘除是很有作用。
mapred.queue.names	ETL,rush,default	配合调度器使用的队列名列表，逗号分隔
mapred.tasktracker.map. tasks.maximum	12	每服务器允许启动的最大map槽位数。
mapred.tasktracker.reduce. tasks.maximum	6	每服务器允许启动的最大reduce槽位数

<4>yarn-site.xml

hadoop 的yarn-site.xml文件中涉及到的其他配置项按照组件可以分成两类，其中之一是对 ResourceManager 的配置，主要配置项有：

yarn.resourcemanager.address：该配置项用于提示 ResourceManager 暴露给 Client 的地址。Client 可以利用这个地址向 ResourceManager 提交应用程序，也可以用来杀死某个应用程序等。其默认端口是 8032 ，而 URL 是 ResourceManager 的 hostname ，在本课程中是 localhost （对于后面的相关设置项也是一样）。
yarn.resourcemanager.scheduler.address：该配置项用于提示 ResourceManager 暴露给 ApplicationMaster 的访问地址。后者可以通过该地址从 ResourceManager 处申请和释放资源，默认端口是 8030 。
yarn.resourcemanager.resource-tracker.address：该配置项用于提示 ResourceManager 暴露给 NodeManager 的地址。后者可以通过该地址向 ResourceManager 发送心跳，也可以拉取到待执行的任务，默认端口是8031。
yarn.resourcemanager.admin.address： ResourceManager 暴露给管理员的访问地址，后者可以通过该地址向 ResourceManager 发送用于管理目的的各项命令，其默认端口是 8033 。
yarn.resourcemanager.webapp.address：ResourceManager 对外暴露的 WebUI 地址，我们稍后就会在浏览器中通过访问该地址来查看集群的各类信息，其默认端口是 8088 。
yarn.resourcemanager.scheduler.class：待启用的 ResourceManager 调度器的主类名称。该选项用于配置调度器的类型，可以在 FIFO、CapacityScheduler 以及 FairScheduler 等调度器名称中进行选择。
yarn.resourcemanager.resource-tracker.client.thread-count：该选项用于配置 Handler 的线程数量。Handler 可以处理来自 NodeManager 的 RPC 请求，默认情况下有 50 个 Handler 线程。
yarn.resourcemanager.scheduler.client.thread-count：与上一选项类似，但这个 Handler 用于处理来自 ApplicationMaster 的 RPC 请求。
yarn.scheduler.minimum-allocation-mb：用于配置单个调度器可申请的最小的内存资源数量，即运行 MapReduce 作业的时候，每个 Task 最少可以申请到的内存容量，默认是 1024MB 。同样的参数还有 yarn.scheduler.maximum-allocation-mb，指的是最大的内存资源数量，默认情况下最多可申请 3072MB 。
yarn.scheduler.minimum-allocation-vcores：单个调度器可以申请到的最小虚拟 CPU 核数（vCPU）。例如默认值 1 表示 MapRedce 作业中的每个 Task 最少可以申请到 1 个虚拟 CPU 。同样的参数还有 yarn.scheduler.maximum-allocation-vcores，默认情况下最多可以申请 32 个虚拟 CPU 。
yarn.resourcemanager.nodes.exclude-path：该选项用于指示 NodeManager 的黑名单。具体而言，若发现某些 NodeManager 存在故障率或者任务执行失败率非常高的问题，就可以通过该参数将其之加到黑名单中。类似的参数还有 yarn.resourcemanager.nodes.include-path，作用是相反的，即白名单。
yarn.resourcemanager.nodemanagers.heartbeat-interval-ms：该参数用于配置 NodeManager 的心跳间隔时间，默认值是 1000 毫秒。

另一类是对 NodeManager 的配置，除了刚刚提到的 aux-services ，其他的主要配置项有：

yarn.nodemanager.resource.memory-mb：NodeManager 的可用物理内存总量，需要注意这个参数一旦被设置，在 YARN 的整个运行过程中不允许被动态修改。其默认值是 8192MB ，即便实际可用物理内存不足这个数量，YARN 也会使用该值进行工作。
yarn.nodemanager.vmem-pmem-ratio：该配置项用于设置一个比例，即每使用 1MB 的物理内存最多可以用多大的虚拟内存，默认情况下该比例为 2.1 。
yarn.nodemanager.resource.cpu-vcores：NodeManager 的可用虚拟 CPU 总数，默认值是 8 个。
yarn.nodemanager.local-dirs：NodeManager 的中间结果存放目录路径，允许配置多个目录。默认值：${hadoop.tmp.dir}/nm-local-dir
yarn.nodemanager.log-dirs：NodeManager 的日志存放目录路径，该配置项允许配置多个目录。
yarn.nodemanager.log.retain-seconds：NodeManager 的日志的最长存放时间，默认情况下是 10800 秒，即 3 个小时。