-
Hadoop YARN
配置参数剖析
注意,配置这些参数前,应充分理解这几个参数的含义,以防止误配给集群带来的隐患。另外,
这些参数均需要在
中配置。
1.
ResourceManager
相关配置参数
(
1
)
s
参数解释:
ResourceManager
对客户端暴露的地址。客户端通过该地址向
RM
提交应
用程序,
杀死应用程序等。
默认值:
$${me}:8032
(
2
)
s
参数解释:
ResourceManager
对
ApplicationMaster
暴露的访问地
址。
ApplicationMaster
通过该地
址向
RM
申请资源、释放资源等。
默认值:
$${me}:8030
(
3
)
s
参数解释:
ResourceManager
对
NodeManager
暴露的地址
.
。
NodeManager
通过该地址向
RM
汇
报心跳,领取任务
等。
默认值:
$${me}:8031
(
4
)
s
参数解释:
ResourceManager
对管理员暴露的访问地址。管理员通过该地址向
RM
发
送管理命
令等。
默认值:
$${me}:8033
(
5
)
s
参数解释:
ResourceMa
nager
水草玛瑙
对外
web ui
地址。
用户可通过该地址在浏览器
中查看集群各类信息。
默认值:
$${me}:8088
(
6
)
参数解释:启用的资源调度器主类。目前可用的有
FIFO
、
Capacity
Scheduler
和
Fair
Scheduler
。
默认值:
tyScheduler
(
7
)
-count
参数解释:处理来自
N
odeManager
的
RPC
请求的
Handler
数目。
默认值:
50
(
8
)
-count
参数解释:处理来自
A
pplicationMaster
的
RPC
< br>请求的
Handler
数目。
默认值:
50
(
9
)
m-allocation-mb m-allocation-mb
参数解释:单个可申请的最高山茶
小
最大内存资源量。比如设置为
1024
和
3072
,
则运行
MapRedce
作业时,每个
Task
最少可申请
p>
1024MB
内存,最多可申请
3072M
B
内存。
默认值:
10248192
(
10
)
m-allocation-vcores
m-allocation-vcores
参数解释:单个可
申请的最小最大虚拟
CPU
个数。比如设置为
< br>1
和
4
,则运行
MapRedce
作业
时,每个
Task
最少可申请
1
个虚拟
CPU
,最多可申请
4
个虚拟
CPU
。什么是虚拟
CPU<
/p>
,可阅
读我的这篇文章:
Y
ARN
资源调度器剖析
。
默认值:
132
(
11
)
e-path e-path
参数解释:
NodeManager
黑白名单。
如果发现若干个
NodeManager
存在问题,
比如故障
率很高,
任务运行失败率高,则可以将之加入黑名单中。注意,这两个配置参数可以动态
生效。
(调用一
个
refresh
p>
命令即可)