关键词不能为空

当前您在: 主页 > 英语 >

ClouderaManager大数据平台部署指南

作者:高考题库网
来源:https://www.bjmy2z.cn/gaokao
2021-02-28 08:35
tags:

-

2021年2月28日发(作者:生产用英语怎么说)


部署指南


Cloudera Manager CDH






官方共给出了


3


中安装方式。第一种方 法必须要求所有机器都能连网,由于


各种网络超时错误,基本没法用。第二种方法使用< /p>


CM


的在线


yum


源,在线下载


很多包,


同样是超时严重。

第三种方法是全离线方式,


实际情况是也只能用这个。





1



Cloudera Manager


的部署条件



?



?



CDH


不支持在容器中部署。



支持


Oracle


JDK7


,目前可使用的最新版本为


1.7u80



C5.3.x


及以上版本也支持使用


ora cle JDK8


,同一个


CDH


集群 中的所有节点使用的


JDK


版本必须一致。


使用


Python2.4


及以上 ,不支持


Python3


仅支持


IP v4


,且


IPv6


必须要


disabled


基于


tar

压缩包的离线安装方式,会在


6.0.0


中停止支持该方式 。



支持


selinux


,但如果不熟悉使用方法,建议关闭。



管理端口为


7180


,此外还有很多基础应用使用的端口,可以运行


iptables


,需要确


认有恰当的授权控 制,例如至少要对同网段的访问放开全部端口。



?



?



?



?



?




2



Cloudera Manager


部署的几个阶段和可选择的方式



精选




精选




精选






注:因为


Cloudera Man ager


的官方


yum


源位于国外,受 网速影响而无法正常使


用。所以上述部署方式中,一般是使用


P ATH C


,或者在预先下载好相关


RPM


的条件下参照


PATH B


方式。




3


、主机节点信息和基础配置





1


)主机 信息



本次部署使用以下主机,前两个作为

NameNode


使用。后四个主机,分别额


外挂载一块< /p>


1TB


的磁盘到本地的


/dfs/dn< /p>


目录下。




1



用于大数据平台的数据磁盘不要配置


RAID



直接祼盘即可。


如果有


RAID


控制器,则直接对每块盘设置一个单独的

< br>RAID0


,仍然当作单盘使用。



2


:在有第二块数据盘的情况下,继续挂载到

< p>
/dfs/dn2


,更多的数据盘则


按命名规则和 挂盘规则扩展即可。




3

< p>
:对于生产环境而言,


NameNode


所在的节 点一般不要同时做数据节点使


用。


而且


NameNode


所在主机的磁盘需要配置适当的


RAID


保护级别,


以提高可靠


性。



精选



< br>4



对于


DataNode


所在的主机节点,


建议系统盘和数据盘完全隔离开,



后系统盘使用两磁盘配置为


RAID1


以提高可靠性。


虽然数据节点是冗余的,


挂一


个也不影响


CDH


平台运行,但修起来还是很 麻烦啊。




172.17.10.70



cluster-70



172.17.10.71



cluster-71



172.17.10.72



cluster-72



172.17.10.73



cluster-73



172.17.10.74



cluster-74



172.17.10.75



cluster-75




操作系统全部使用


CentOS 6.9 Minimal


安装。



将全 部主机的主机名设置好,


并将以上映射关系写到每个主机的


/e tc/hosts


文件中。





2


)免密登录


< /p>



cluster-70


节点上制作


ssh


密钥:


ssh- keygen



将该密钥分发至其它各节点,以实现免密钥登录,如:


ssh- copy-id


cluster-71





3



selinux



iptables



所有节点配置为关闭


selinux




所有节点的


ip tables


设置为对同网段地址放开全部端口的访问权限。





4


)系统 性能参数调整




中即可。




精选


cat << EOF >> /etc/



ness = 0



e_ipv6 = 1



e_ipv6 = 1



_local_port_range = 1024 65000



EOF



sysctl -p



echo never > /sys/kernel/mm/transparent_hugepage/defrag



echo never > /sys/kernel/mm /transparent_hugepage/enabled



cat << EOF >> /etc/



echo never > /sys/kernel/mm/transparent _hugepage/defrag



echo never > /sys/kernel/mm/transparent_hugepage/enabled

< p>


EOF



< p>
4


、安装


JDK



下载并分发


Oracle JDK


安装包至所有节点,执行安装和配置命令。




rpm -ivh



直接刷下面脚本完成配置:



cat << EOF >> /etc/profile



JAVA_ HOME=/usr/java/jdk1.7.0_80



PATH=$$JAVA_HOME/bin:$$PATH:.



CLASSPATH=.:$$JAVA_HOME/lib/:$$JAVA_HOME/ lib/



export JAVA_HOME



export PATH



精选



export CLASSPATH



EOF



source /etc/profile




以上< /p>


JDK


配置,需要在每个节点上都处理。




5


、安装和配置数据库



主要有以下业务会使用到数据库服务:



?



Cloudera


Manager


,存放各种服务、配置数据,空间大约


100MB


,很重要,应经常


备份





Oozie


Server


-


Contains


Oozie


workflow,


coordinator,


and


bundle


data.


Can


grow


very


large.


Sqoop Server - Contains entities such as the connector, driver, links and jobs. Relatively


small.


Activity


Monitor


-


Contains


information


about


past


activities.


In


large


clusters,


this


database can grow large. Configuring an Activity Monitor database is only necessary if a


MapReduce service is deployed.


?



?



?



?



Reports


Manager


-


Tracks


disk


utilization


and


processing


activities


over


time.


Medium-sized.


Hive Metastore Server - Contains Hive metadata. Relatively small.


Hue


Server


-


Contains


user


account


information,


job


submissions,


and


Hive


queries.


Relatively small.


Sentry Server - Contains authorization metadata. Relatively small.


Cloudera


Navigator


Audit


Server


-


Contains


auditing


information.


In


large


clusters,


this


database can grow large.


Cloudera Navigator Metadata Server - Contains authorization, policies, and audit report


metadata. Relatively small.


?



?



?



?



?





1


)因为准备使用


cluster-70< /p>


作为


NameNode


Master< /p>


,所以把


mysql


数据库安

< p>
装在


cluster-71


上面

< br>,以分散下风险。



登录


clu ster-71



然后使用任一种自己熟悉的方式把

< p>
mysql


数据库安装好即


可:

< br>


精选



yum install mysql-server mysql



chkconfig mysqld on



service mysqld start



完成数据库初始化:



/usr/bi n/mysql_secure_installation





2


)优化数据库配置



service mysqld stop



将旧的


InnoDB log


文件移走:




/var/lib/mysql/ib_logfile0 and /var/lib/mysql/ib_logfile1 out of


/var/lib/mysql/




参照下面调整



参数,以更适合


CDH


服务使用:



[mysqld]



datadir=/var/lib/mysql



socket=/var/lib/mysql/



user=mysql



# Disabling symbolic-links is recommended to prevent assorted


security risks



symbolic-links=0



transaction-isolation = READ- COMMITTED



key_buffer_size = 32M



max_allowed_packet = 32M



thread_stack = 256K



thread_cache_size = 64



query_cache_limit = 8M



精选



query_cache_size = 64M



query_cache_type = 1



max_connections = 550



#binlog_format = mixed



read_buffer_size = 2M



read_rnd_buffer_size = 16M



sort_buffer_size = 8M



join_buffer_size = 8M



# InnoDB settings



innodb_file_per_table = 1



innodb_flush_log_at_trx_commit


= 2



innodb_log_buffer_size = 64M



innodb_buffer_pool_size = 2G



innodb_thread_concurrency = 8



innodb_flush_method = O_DIRECT



innodb_log_file_size = 512M



[mysqld_safe]



log-error=/var/log/



pid-file=/var/run/mysqld/



sql_mode=STRICT_ALL_TABLES




启动


mysql

,如果有报错,可根据日志信息排查。






3


)创建 需要使用的几个库



精选


-


-


-


-


-


-


-


-



本文更新与2021-02-28 08:35,由作者提供,不代表本网站立场,转载请注明出处:https://www.bjmy2z.cn/gaokao/679926.html

ClouderaManager大数据平台部署指南的相关文章

  • 余华爱情经典语录,余华爱情句子

    余华的经典语录——余华《第七天》40、我不怕死,一点都不怕,只怕再也不能看见你——余华《第七天》4可是我再也没遇到一个像福贵这样令我难忘的人了,对自己的经历如此清楚,

    语文
  • 心情低落的图片压抑,心情低落的图片发朋友圈

    心情压抑的图片(心太累没人理解的说说带图片)1、有时候很想找个人倾诉一下,却又不知从何说起,最终是什么也不说,只想快点睡过去,告诉自己,明天就好了。有时候,突然会觉得

    语文
  • 经典古训100句图片大全,古训名言警句

    古代经典励志名言100句译:好的药物味苦但对治病有利;忠言劝诫的话听起来不顺耳却对人的行为有利。3良言一句三冬暖,恶语伤人六月寒。喷泉的高度不会超过它的源头;一个人的事

    语文
  • 关于青春奋斗的名人名言鲁迅,关于青年奋斗的名言鲁迅

    鲁迅名言名句大全励志1、世上本没有路,走的人多了自然便成了路。下面是我整理的鲁迅先生的名言名句大全,希望对你有所帮助!当生存时,还是将遭践踏,将遭删刈,直至于死亡而

    语文
  • 三国群英单机版手游礼包码,三国群英手机单机版攻略

    三国群英传7五神兽洞有什么用那是多一个武将技能。青龙飞升召唤出东方的守护兽,神兽之一的青龙。玄武怒流召唤出北方的守护兽,神兽之一的玄武。白虎傲啸召唤出西方的守护兽,

    语文
  • 不收费的情感挽回专家电话,情感挽回免费咨询

    免费的情感挽回机构(揭秘情感挽回机构骗局)1、牛牛(化名)向上海市公安局金山分局报案,称自己为了挽回与女友的感情,被一家名为“实花教育咨询”的情感咨询机构诈骗4万余元。

    语文