YARN配置参数

Hadoop YARN

配置参数剖析

注意，配置这些参数前，应充分理解这几个参数的含义，以防止误配给集群带来的隐患。另外，

这些参数均需要在

中配置。

1. ResourceManager

相关配置参数

（

1

）

s

参数解释：

ResourceManager

对客户端暴露的地址。客户端通过该地址向

RM

提交应 用程序，

杀死应用程序等。

默认值：

$${me}:8032

（

2

）

s

参数解释：

ResourceManager

对

ApplicationMaster

暴露的访问地 址。

ApplicationMaster

通过该地

RM

申请资源、释放资源等。

默认值：

$${me}:8030

（

3

）

s

参数解释：

ResourceManager

对

NodeManager

暴露的地址

.

。

NodeManager

通过该地址向

RM

汇

报心跳，领取任务 等。

默认值：

$${me}:8031

（

4

）

s

参数解释：

ResourceManager

对管理员暴露的访问地址。管理员通过该地址向

RM

发 送管理命

令等。

默认值：

$${me}:8033

（

5

）

s

参数解释：

ResourceMa nager

水草玛瑙

对外

web ui

地址。

用户可通过该地址在浏览器

中查看集群各类信息。

默认值：

$${me}:8088

（

6

）

参数解释：启用的资源调度器主类。目前可用的有

、

Capacity Scheduler

和

Fair Scheduler

。

默认值：

tyScheduler

（

7

）

-count

参数解释：处理来自

N odeManager

的

RPC

请求的

Handler

数目。

默认值：

50

（

8

）

-count

参数解释：处理来自

A pplicationMaster

的

RPC

< br>请求的

Handler

数目。

默认值：

50

（

9

）

m-allocation-mb m-allocation-mb

参数解释：单个可申请的最高山茶

小 最大内存资源量。比如设置为

1024

和

3072

，

则运行

MapRedce

作业时，每个

Task

最少可申请

1024MB

内存，最多可申请

3072M B

内存。

默认值：

10248192

（

10

）

m-allocation-vcores

m-allocation-vcores

参数解释：单个可 申请的最小最大虚拟

CPU

个数。比如设置为

< br>1

和

4

，则运行

MapRedce

作业

时，每个

Task

最少可申请

1

个虚拟

CPU

，最多可申请

4

个虚拟

CPU

。什么是虚拟

CPU< /p>

，可阅

读我的这篇文章：

Y

ARN

资源调度器剖析

。

默认值：

132

（

11

）

e-path e-path

参数解释：

NodeManager

黑白名单。

如果发现若干个

NodeManager

存在问题，

比如故障 率很高，

任务运行失败率高，则可以将之加入黑名单中。注意，这两个配置参数可以动态 生效。

（调用一

个

refresh

命令即可）