关键词不能为空

当前您在: 主页 > 英语 >

YARN配置参数

作者:高考题库网
来源:https://www.bjmy2z.cn/gaokao
2021-02-19 14:43
tags:

-

2021年2月19日发(作者:zeng)


Hadoop YARN


配置参数剖析



注意,配置这些参数前,应充分理解这几个参数的含义,以防止误配给集群带来的隐患。另外,


这些参数均需要在



中配置。

< p>


1. ResourceManager


相关配置参数




1




s


参数解释:


ResourceManager


对客户端暴露的地址。客户端通过该地址向


RM


提交应 用程序,


杀死应用程序等。



默认值:


$${me}:8032



2




s


参数解释:


ResourceManager



ApplicationMaster


暴露的访问地 址。


ApplicationMaster


通过该地

< p>
址向


RM


申请资源、释放资源等。



默认值:


$${me}:8030



3




s


参数解释:


ResourceManager



NodeManager


暴露的地址


.



NodeManager


通过该地址向


RM



报心跳,领取任务 等。



默认值:


$${me}:8031



4




s


参数解释:


ResourceManager


对管理员暴露的访问地址。管理员通过该地址向


RM


发 送管理命


令等。



默认值:


$${me}:8033



5




s


参数解释:


ResourceMa nager


水草玛瑙



对外


web ui


地址。


用户可通过该地址在浏览器


中查看集群各类信息。



默认值:


$${me}:8088



6





参数解释:启用的资源调度器主类。目前可用的有

< p>
FIFO



Capacity Scheduler



Fair Scheduler




默认值:



tyScheduler



7




-count


参数解释:处理来自


N odeManager



RPC


请求的


Handler


数目。



默认值:


50



8




-count


参数解释:处理来自


A pplicationMaster



RPC

< br>请求的


Handler


数目。



默认值:


50



9




m-allocation-mb m-allocation-mb


参数解释:单个可申请的最高山茶



小 最大内存资源量。比如设置为


1024



3072



则运行


MapRedce


作业时,每个


Task


最少可申请


1024MB


内存,最多可申请


3072M B


内存。



默认值:


10248192



10




m-allocation-vcores



m-allocation-vcores


参数解释:单个可 申请的最小最大虚拟


CPU


个数。比如设置为

< br>1



4


,则运行


MapRedce


作业


时,每个


Task


最少可申请


1


个虚拟


CPU


,最多可申请


4


个虚拟


CPU


。什么是虚拟


CPU< /p>


,可阅


读我的这篇文章:



Y


ARN


资源调度器剖析





默认值:


132



11




e-path e-path


参数解释:

NodeManager


黑白名单。


如果发现若干个


NodeManager


存在问题,


比如故障 率很高,


任务运行失败率高,则可以将之加入黑名单中。注意,这两个配置参数可以动态 生效。


(调用一



refresh


命令即可)


-


-


-


-


-


-


-


-



本文更新与2021-02-19 14:43,由作者提供,不代表本网站立场,转载请注明出处:https://www.bjmy2z.cn/gaokao/667965.html

YARN配置参数的相关文章