如何配置HadoopHA集群文件

今天小编就为大家带来一篇配置Hadoop HA 集群文件的文章。小编觉得挺不错的，为此分享给大家做个参考。一起跟随小编过来看看吧。

创新互联公司是一家集网站建设,青浦企业网站建设,青浦品牌网站建设,网站定制,青浦网站建设报价,网络营销,网络优化,青浦网站推广为一体的创新建站企业，帮助传统企业提升企业形象加强企业竞争力。可充分满足这一群体相比中小企业更为丰富、高端、多元的互联网需求。同时我们时刻保持专业、时尚、前沿，时刻以成就客户成长自我，坚持不断学习、思考、沉淀、净化自己，让我们为更多的企业打造出实用型网站。

> 1、hadoop-env.sh配置

export JAVA_HOME=(jdk安装地址)

> 2、hdfs-site.xml配置文件

<此新名称服务的逻辑名称>

dfs.nameservices
mycluster

<名称服务中每个NameNode的唯一标识符>

dfs.ha.namenodes.mycluster
master，slave1

服务器的监听地址>

dfs.namenode.rpc-address.mycluster.master
master:50070


dfs.namenode.rpc-address.mycluster.slave1
slave1:50070

<每个NameNode监听的标准HTTP地址>

dfs.namenode.http-address.mycluster.master
master:9000


dfs.namenode.http-address.mycluster.slave1
slave1:9000

<配置JournalNodes 集群的URI>

dfs.namenode.shared.edits.dir
qjournal://master:8485;slave1:8485;slave2:8485/mycluster

<配置故障转移代理类>

dfs.client.failover.proxy.provider.mycluster
org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider



dfs.ha.fencing.methods
sshfence


dfs.ha.fencing.ssh.private-key-files
/root/.ssh/id_rsa



dfs.ha.fencing.methods
shell（/bin/true）



dfs.journalnode.edits.dir
/usr/local/src/hadoop/data/journalnode/jn

<自动故障转移>

dfs.ha.automatic-failover.enabled
true

> 3、core-site.xml配置文件

<指定hdfs的nameservice>

fs.defaultFS
hdfs://mycluster

<指定hadoop临时目录>

hadoop.tmp.dir
/opt/tmp/hadoop/ha



ha.zookeeper.quorum
master:2181,slave1:2181,slave2:2181

> 4、mapred-site.xml配置

mapreduce.farmework.name
yarn

> 5、yarn-site.xml配置

<打开高可用>

yarn.resourcemanager.ha.enabled
true

<启用自动故障转移 >

yarn.resourcemanager.ha.automatic-failover.enabled
true



yarn.resourcemanager.cluster-id
yarn-rm-cluster



yarn.resourcemanager.ha.rm-ids
rm1,rm2



yarn.resourcemanager.hostname.rm1
master


yarn.resourcemanager.hostname.rm2
server1



yarn.resourcemanager.zk-address
master:2181,server1:2181,server2:2181

<配置YARN的http端口>

yarn.resourcemanager.webapp.address.rm1
master:8088
 

yarn.resourcemanager.webapp.address.rm2
slave1:8088

yarn.nodemanager.aux-services
mapreduce_shuffle

> 6、slaves配置（DataNode）
master
slave1
slave2

以上就是如何配置Hadoop HA 集群文件的汇总，内容较为全面，而且我也相信有相当的一些工具可能是我们日常工作可能会见到或用到的。通过这篇文章，希望你能收获更多。