-
Hadoop
学习第一步之基础环境搭建
1.
下载并安装安装
ssh
sudo apt-get install openssh-
server openssh-client
3.
搭建
vsftpd
#sudo apt-get update
#sudo apt-get install vsftpd
配置参考
的开始、关闭和重启
$$sudo
/etc/vsftpd start
#
开始
$$sudo /etc/vsftpd stop
#
关闭
$$sudo /etc/vsftpd restart
#
重启
4.
安装
sudo chown -R hadoop:hadoop
/opt
cp /soft/
/opt
sudo vi
/etc/profile
alias
untar='tar -zxvf'
sudo source /etc/profile
source /etc/profile
untar jdk*
环境变量配置
# vi
/etc/profile
●
在
pr
ofile
文件最后加上
# set
java environment
export JAVA_HOME=/opt/
export
CLASSPATH=.:$$JAVA_HOME/lib/:$$JAVA_HOME/lib/
export PATH=$$JAVA_HOME/bin:$$PATH
配置完成后，保存退出。
●
不重启，更新命令
#source /etc/profile
●
测试是否安装成功
# Java
–
version
其他问题：
出现
unable to
resolve host
解决方法
参考
开机时停在
Starting
sendmail
不动了的解决方案
参考
安装软件时出现
E: Unable
to locate package vsftpd
参考
vi/vim
使用方法讲解
参考
分类
:
Hadoop
---------------------------
-----------------
克隆
master
< br>虚拟机至
node1
、
node2
分别修改
master
的主机名为
m
aster
、
node1
的主机名为<
/p>
node1
、
node2
的主机名为
node2
(<
/p>
启动
node1
、
node2
系统默认分配递增
ip
，
无需手动修改
)
分别修改
/etc/hosts
中的
ip
< br>和主机名
(
包含其他节点
ip<
/p>
和主机名
)
---------
配置
ssh
免密码连入
hadoop@node1
:~
$$
ssh
-
keygen
-
t dsa
-
P
''
-
f
~/.
ssh
/
id_dsa
Generating
public
/
private
dsa
key
pair
.
Created
directory
'/home/hadoop/.ssh'
.
Your identification has
been saved
in
/
home
/
hadoop
< br>/.
ssh
/
id_dsa
.
Your
public
key
has been saved
in
/
ho
me
/
hadoop
/.
ssh
/.
The
key
fingerprint
is
:
SH
A256
:
B8vBju
/
uc3kl
/
v9lrMqtltttttCcX
gRkQPbVoU hadoop@node1
The
key
's randomart image
is:
+
---[DSA
1024]----+
|
....
|
|
o
+.
E
.
|
|
.
oo
+
|
|
..
+
+
|
|
o
+.
o
ooo
+|
|=
o
.
.
o
.
ooo
.
o
.|
|*
o
...
.+=
o
.+++.+|
+
< br>----[SHA256]-----+
hadoop@node1
:~
$$
cd
.
ssh
hadoop@node1
:~/.
ssh$$
ll
总用
量
16
drwx
------
2 hadoop hadoop 4096 Jul 24 20:31
./
drwxr
-
< br>xr
-
x
18
hadoop hadoop
4096
Jul
24
20
:
31
../
-
rw
-------
1 hadoop hadoop
668 Jul 24 20:31 id_dsa
-
rw
-
r
--r--
1 hadoop hadoop
602 Jul 24 20:31
hadoop@node1
:~/.
ssh$$ cat
>>
authorized_keys
hadoop@node1
:~/.
ssh$$ ll
总用
量
20
drwx
------
2 hadoop hadoop 4096 Jul 24 20:32
./
drwxr
-
< br>xr
-
x
18
hadoop hadoop
4096
Jul
24
20
:
31
../
-
r
w
-
rw
-
r
--
1 hadoop
hadoop
602 Jul 24 20:32
authorized_keys
-
rw
-------
1 hadoop hadoop
668 Jul 24 20:31 id_dsa
-
rw
-
r
--r--
1 hadoop hadoop
602 Jul 24 20:31
单
机
回环
ssh
免密码
登
录测试
hadoop@node1
:~/.
ssh$$ ssh
localhost
The authenticity
of
host
'localhost
'
can
'
t be
established
.
ECDSA
key
fingerprint
is
SHA256
:
daO0dssyqt12tt9yGUauImOh6tt6A1Sgxz
SfSmpQqJVEiQTxas
.
Are
you sure you want
to
continue
connecting
< br>(
yes
/
no
)
yes
Warning
:
Permanently added
'localhost'
(
ECDSA
)
to
the list
of
known
hosts
.
Welcome
to
Ubuntu
(
GNU
/
Linux
x86_64
)
*
Documentation
:
packages can be
updated
.
178
updates
are
security
updates
.
New
release
'
LTS'
available
.
Run
'do-release-
upgrade'
to
upgrade
to
it
.
Last
login
:
Sun Jul
24
20
:
21
:
39
2016
from
exit
注销
Connection
to
localhost
closed
.
hadoop@no
de1
:~/.
ssh$$
出现以上信息说明操作成功
,
其他两
个
节点同样操作
让
主
结
点
(
master
)
< br>能通过
SSH
免密码
登
录两
个
子结点（
sla
ve
）
h
adoop@node1
:~/.
ssh$$ scp hado
op@master
:~/.
ssh
/
./
The authenticity
of
host
'master
'
can
'
t be
established
.
ECDSA
key
fingerprint
is
SHA256
:
daO0dssyqtt9yGUuImOh646A1SgxzSfatS
mpQqJVEiQTxas
.
Are
you sure you want
to
continue
connecting
< br>(
yes
/
no
)
yes
Warning
:
Permanently added
'master,'
(
ECDSA
)
to
the list
of
known
hosts
.
hadoop@master
'
s
password
:
100
%
603
s
00
:
00
hadoop@node1
:~/.
ssh
$$ cat
>>
authorized_keys
如上过程
显示
了
node1
结点通过
scp
命
令远程
登
录
master
结点，并复制
master
的公钥文件到当前的目
录下，
这一过程需要密码验证。接着，将
master
结点的公钥文件追加至
aut
horized_keys
文件
中
，通
过这步
操作，
如果不出问题，
master
结点就可以通过
ssh
远程免密码连接
node1
结点了。
在
master
结点
中<
/p>
操作如下：
hadoop@master
:~/.
ssh$$ ssh
node1
The authenticity
of
host
'node1
'
can
'
t be
established
.
ECDSA
key
fingerprint
is
SHA256
:
daO0dssyqt9yGUuImOh3466A1SttgxzSfS
mpQqJVEiQTxas
.
Are
you sure you want
to
continue
connecting
< br>(
yes
/
no
)
yes
Warning
:
Permanently added
'node1,'
<
/p>
(
ECDSA
)
to
the list
of
known
hosts
.
Welcome
to
Ubuntu
(
GNU
/
Linux
x86_64
)
*
Documentation
:
packages can be
updated
.
178
updates
are
security
updates
.
New
release
'
LTS'
available
.
Run
'do-release-
upgrade'
to
upgrade
to
it
.
Last
login
:
Sun Jul
24
20
:
39
:
30
2016
from
exit
注销
Connection
to
node1
closed
.
hadoop@ma
ster
:~/.
ssh$$
由上图可以看出，
node1
结点首
次
连接时需要，
“YES”
确认连接，
这意味着<
/p>
master
结点连接
node1
结点时需要人工询问，无法自动连接，
输入
yes
后成功接入，紧接着注销退出至
master
结点。要实现
ssh
免密
码连接至其它结点，
还差一步，只需要再执行一遍
ssh node1
，如果没有要求你输入
”yes”
，就算成功了，过
程如下：
hadoop@mast
er
:~/.
ssh$$ ssh
node1
Welcome
to
Ubuntu
(
GNU
/
Linux
x86_64
)
*
Documentation
:
packages can be
updated
.
178
updates
are
security
updates
.
New
release
'
LTS'
available
.
Run
'do-release-
upgrade'
to
upgrade
to
it
.
Last
login
:
Sun Jul
24
20
:
47
:
20
2016
from
exit
注销
Connection
to
node1
closed
.
hadoop@ma
ster
:~/.
ssh$$
如上图所
示
，
master
已经可以通过
ssh<
/p>
免密码
登
录至
n
ode1
结点了。
对
node2
结点也可以
用
上面同样的方法进行
表面上看，这两
个
结点的
s
sh
免密码
登
录已经配置成功，但
是
我们还需要对
主
结点
master
也要进行上
面的同样
工作，
这一步有点让人困惑，但
是<
/p>
这
是
有原因的，具体原因现
在
也说不
太好
，据说
是
真实物理结点时需要
做这项工作，
因
为
jobtrac
ker
有可能会分布
在
其它结点上，<
/p>
jobtracker
有不存
在
master
结点上的可能性。
对
master
< br>自身进行
ssh
免密码
登
录测试工作：
hadoop@master
:~/.
ssh$$ scp hadoop@master
:~/.
ss
h
/
./
The authenticity
of
host
'master
'
can
'
t be
established
.
ECDSA
key
fingerprint
is
SHA256
:
daO0dssttqt9yGUuImOahtt166AgxttzSf
SmpQqJVEiQTxas
.
Are
you sure you want
to
continue
connecting
< br>(
yes
/
no
)
yes
Warning
:
Permanently added
'master'
<
/p>
(
ECDSA
)
to
the list
of
known
hosts
.
100
%
603
s
00
:
00
hadoop@master
:~/.
ss
h$$ cat
>>
authorized_key
hadoop@master
:~/.
ssh$$ ssh
master
Welcome
to
Ubuntu
(
GNU
/
Linux
x86_64
)
*
Documentation
:
packages can be
updated
.
178
updates
are
security
updates
.
New
release
'
LTS'
available
.
Run
'do-release-
upgrade'
to
upgrade
to
it
.
Last
login
:
Sun Jul
24
20
:
39
:
24
2016
from
exit
注销
Connection
to
master
closed
.
至此，
SSH
免密码
登
录已经配置成功。
-
-
-
-
-
-
-
-
-
上一篇：修改配置让系统不再越用越慢
下一篇：AMI BIOS启动代码中英文对照表