关键词不能为空

当前您在： 主页 > 英语 >

hadoop2.6基于yarn安装配置详解

作者：高考题库网
来源：https://www.bjmy2z.cn/gaokao
2021-02-19 15:08
tags:

-

2021年2月19日发(作者：没事)


Hadoop2.6


配置详解



在


hadoop2.0


中通常由两个

< br>NameNode


组成，一个处于


active


状态，另一个处于


standby


状态。


Active


NameNode


对外提供服 务，而


Standby


NameNode

则不对外提


供服务，仅同步


active namenode


的状态，以便能够在它失败时快速进行切换。




这里还配置了一个


zookeepe r


集群，用于


ZKFC


（


DFSZKFailoverController


）故障转


移，当


Active NameNode


挂掉了，会自动切换


Standby Nam eNode


为


standby


状态




hadoop-2.2.0

< p>
中依然存在一个问题，


就是


ResourceMa nager


只有一个，存在单点故


障，


hadoop-2.6


解决了这个问题，有两个


Resourc eManager


，一个是


Active


，一个是


Standby


，状态由


z ookeeper


进行协调



hado op2.0


官方提供了两种


HDFS HA

的解决方案，一种是


NFS


，另一种是

QJM


（由


cloudra


提出， 原理类似


zookeeper


）


。这里 我使用


QJM


完成。主备


NameNo de


之间通


过一组


JournalNo de


同步元数据信息，一条数据只要成功写入多数


Journa lNode


即认为


写入成功。通常配置奇数个

< br>JournalNode


1



安装前准备



1.1



示例机器



192.168.0.10


hadoop1


192.168.0.20


hadoop2


192.168.0.30


hadoop3


192.168.0.40


hadoop4


每台机器都有一个


h adoop


用户，密码是


hadoop


所有机器上安装


jdk1.7


。


< /p>


在


hadoop2


，

hadoop3


，


hadoop4


上安装


Zookeeper3.4


集群。



1.2



配置

ip


与


hostname


用


root


用户修改每台机器的


hosts


Vi /etc/hosts


添加以下内容：



192.168.0.10


hadoop1


192.168.0.20


hadoop2


192.168.0.30


hadoop3


192.168.0.40


hadoop4



应用配置


source /etc/hosts


1.3



关闭防火墙



切换到管理员


su root


连接设备，键入命令“service iptables status”查看防火墙状态



关闭命令“chkconfig iptables off”，重启后生效。



1.4



ssh


免密码登录



?



SSH


检查



首先确认系统已经安装


SSH


，切换到管理员

< br>su root


键入命令


:


rpm -qa | grep openssh


rpm -qa | grep rsync


出现如下图信息表示已安装。




假设没有安装


ssh


和

rsync


，可以通过下面命令进行安装。



安装


SSH


协议


-->



yum install ssh


< /p>


安装


rsync


工具

-->


yum install rsync



启动服务


-->



service sshd restart



?



SSH


检查



首先确认系统已经安装


SSH


，切换到管理员

< br>su root


键入命令


:


rpm -qa | grep openssh


rpm -qa | grep rsync


出现如下图信息表示已安装。




假设没有安装


ssh


和

rsync


，可以通过下面命令进行安装。



安装


SSH


协议


-->



yum install ssh


< /p>


安装


rsync


工具

-->


yum install rsync



启动服务


-->



service sshd restart



?



SSH


免 密码登录的设置，每台设备的操作都是一样的，以


192.168.0.25

< p>
为例：



切换用户


su - hadoop


，执行


ssh-keygen -t rsa


生成密钥，一直按回车就行



进 入


.ssh


目录


cd ~/.ssh


，执行：



ssh- copy-id -i


ssh-copy-id -i


ssh-copy-id -i


ssh-copy-id -i


id_


id_


id_


id_


会提示输入密码，输入后回车，出现”to


make


sure


we


haven't


added


extra


keys


that


you weren't expecting“就代表成功，在另外的设备上也进行这样的操作。



?



常见问题



如果以上操作做完后，


ssh


登录还需 要密码，请检查文件和文件夹权限



.ssh

< br>目录和用户目录


/hadoop


的权限必须是

< p>
700


修改权限命令


-->



chmod 700 hadoop


.ssh


目录下的


authorized_keys


文件的权限 必须是


600


修改权限命令


-->



chmod 600 authorized_keys


2



配置文件



2.1



修改










tFS



hdfs://bigdata









/home/hadoop/tmp



Abase for other temporary directories.
















*






*








< /p>


hadoop2:2181,hadoop3:2181,hadoop4 :2181





2.2



修改



export JAVA_HOME=/home/hadoop/jdk1.7.0_79


#


指定日志存放目录



export HADOOP_LOG_DIR=/home/hadoop/tmp/log/hadoop


2.3



修改








rvices



bigdata








a



nameNode1,nameNode2








de1



hadoop1:9000








de2



hadoop2:9000








de1



hadoop1:50070








de2



hadoop2:50070



< br>







/home/hadoop/tmp/journal









qjournal://hadoop2:8485;hadoop3:8485;hadoop 4:8485/bigdata








al


JournalManager







e



true








a



uredFailoverProxyProv


ider








s



sshfence








e-key-files



/home/hadoop/.ssh/id_rsa



< br>









file:/home/hadoop/tmp/dfs/name













file:/home/hadoop/tmp/dfs/data










ation




3









d




true

-


-


-


-


-


-


-


-



本文更新与2021-02-19 15:08，由作者提供，不代表本网站立场，转载请注明出处：https://www.bjmy2z.cn/gaokao/668082.html

返回列表：英语

hadoop2.6基于yarn安装配置详解的相关文章

hadoop2.6基于yarn安装配置详解随机文章
hadoop2.6基于yarn安装配置详解热门标签