-
Hadoop2.6
配置详解
在
hadoop2.0
中通常由两个
< br>NameNode
组成，一个处于
active
状态，另一个处于
standby
状态。
Active
NameNode
对外提供服
务，而
Standby
NameNode
则不对外提
供服务，仅同步
active
namenode
的状态，以便能够在它失败时快速进行切换。
这里还配置了一个
zookeepe
r
集群，用于
ZKFC
（
DFSZKFailoverController
）故障转
移，当
Active
NameNode
挂掉了，会自动切换
Standby Nam
eNode
为
standby
状态
hadoop-2.2.0
中依然存在一个问题，
就是
ResourceMa
nager
只有一个，存在单点故
障，
hadoop-2.6
解决了这个问题，有两个
Resourc
eManager
，一个是
Active
，一个是
Standby
，状态由
z
ookeeper
进行协调
hado
op2.0
官方提供了两种
HDFS HA
的解决方案，一种是
NFS
，另一种是
QJM
（由
cloudra
提出，
原理类似
zookeeper
）
。这里
我使用
QJM
完成。主备
NameNo
de
之间通
过一组
JournalNo
de
同步元数据信息，一条数据只要成功写入多数
Journa
lNode
即认为
写入成功。通常配置奇数个
< br>JournalNode
1
安装前准备
1.1
示例机器
192.168.0.10
hadoop1
192.168.0.20
hadoop2
192.168.0.30
hadoop3
192.168.0.40
hadoop4
每台机器都有一个
h
adoop
用户，密码是
hadoop
所有机器上安装
jdk1.7
。
<
/p>
在
hadoop2
，
hadoop3
，
hadoop4
上安装
Zookeeper3.4
集群。
1.2
配置
ip
与
hostname
用
root
用户修改每台机器的
hosts
Vi /etc/hosts
添加以下内容：
192.168.0.10
hadoop1
192.168.0.20
hadoop2
192.168.0.30
hadoop3
192.168.0.40
hadoop4
应用配置
source
/etc/hosts
1.3
关闭防火墙
切换到管理员
su root
连接设备，键入命令“service iptables
status”查看防火墙状态
关闭命令“chkconfig iptables
off”，重启后生效。
1.4
ssh
免密码登录
?
SSH
检查
首先确认系统已经安装
SSH
，切换到管理员
< br>su root
键入命令
:
rpm -qa | grep openssh
rpm
-qa | grep rsync
出现如下图信息表示已安装。
假设没有安装
ssh
和
rsync
，可以通过下面命令进行安装。
安装
SSH
协议
-->
yum install ssh
<
/p>
安装
rsync
工具
-->
yum install rsync
启动服务
-->
service sshd restart
?
SSH
检查
首先确认系统已经安装
SSH
，切换到管理员
< br>su root
键入命令
:
rpm -qa | grep openssh
rpm
-qa | grep rsync
出现如下图信息表示已安装。
假设没有安装
ssh
和
rsync
，可以通过下面命令进行安装。
安装
SSH
协议
-->
yum install ssh
<
/p>
安装
rsync
工具
-->
yum install rsync
启动服务
-->
service sshd restart
?
SSH
免
密码登录的设置，每台设备的操作都是一样的，以
192.168.0.25
为例：
切换用户
su
- hadoop
，执行
ssh-keygen -t
rsa
生成密钥，一直按回车就行
进
入
.ssh
目录
cd
~/.ssh
，执行：
ssh-
copy-id -i
ssh-copy-id -i
ssh-copy-id -i
ssh-copy-id
-i
id_
id_
id_
id_
会提示输入密码，输入后回车，出现”to
make
sure
we
haven't
added
extra
keys
that
you weren't
expecting“就代表成功，在另外的设备上也进行这样的操作。
?
常见问题
如果以上操作做完后，
ssh
登录还需
要密码，请检查文件和文件夹权限
.ssh
< br>目录和用户目录
/hadoop
的权限必须是
700
修改权限命令
-->
chmod 700 hadoop
.ssh
目录下的
authorized_keys
文件的权限
必须是
600
修改权限命令
-->
chmod 600 authorized_keys
2
配置文件
2.1
修改
<
/p>
2.2
修改
export
JAVA_HOME=/home/hadoop/jdk1.7.0_79
#
指定日志存放目录
export
HADOOP_LOG_DIR=/home/hadoop/tmp/log/hadoop
2.3
修改
< br>
ider
< br>
-
-
-
-
-
-
-
-
-
上一篇：(很好)get型被动语态 get的被动用法
下一篇：《围城》英译选句