HDFS中HA机制及Hadoop集群搭建的示例分析

小编给大家分享一下HDFS中HA机制及Hadoop集群搭建的示例分析，相信大部分人都还不怎么了解，因此分享这篇文章给大家参考一下，希望大家阅读完这篇文章后大有收获，下面让我们一起去了解一下吧！

我们是于2013年开始的成都网站建设公司,提供网站建设,电商网站设计开发,外贸网站制作,响应式网页设计,微信小程序开发、等服务。为客户创造有价值的品牌营销体验，让互联网提升企业的竞争力！

1.HA的简介

还是用图来说明吧:

Hadoop1.x:

Hadoop2.x:

hadoop2中HDFS的高可靠指的是可以同时启动2个NameNode。其中一个处于工作状态，另一个处于随时待命状态。

这样，当一个NameNode所在的服务器宕机时，可以在数据不丢失的情况下，手工或者自动切换到另一个NameNode提供服务。 这些NameNode之间通过共享数据，保证数据的状态一致。多个NameNode之间共享数据，可以通过Nnetwork File System或者Quorum Journal Node。前者是通过linux共享的文件系统，属于操作系统的配置；后者是hadoop自身的东西，属于软件的配置。我们这里讲述使用Quorum Journal Node的配置方式。可以使人工，也可以自动配置（使用zookeeper就行啦）.

至于NFS的配置方法，访问:http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithNFS.html

看apache上的文档要比我这好多太多，上面的资料给的比较全面。搞的我都不想写博客了！！！

集群启动时，可以同时启动2个NameNode。这些NameNode只有一个是active的，另一个属于standby状态。

active状态意味着提供服务，standby状态意味着处于休眠状态，只进行数据同步，时刻准备着提供服务 。

2.Hadoop2中HA的架构

      在一个典型的HA集群中，每个NameNode是一台独立的服务器。在任一时刻，只有一个NameNode处于active状态，另一个处于standby状态。其中，active状态的NameNode负责所有的客户端操作，standby状态的NameNode处于从属地位，维护着数据状态，随时准备切换。 

      两个NameNode为了数据同步，会通过一组称作JournalNodes的独立进程进行相互通信。当active状态的NameNode的命名空间有任何修改时，会告知大部分的JournalNodes进程。standby状态的NameNode有能力读取JNs中的变更信息，并且一直监控edit log的变化，把变化应用于自己的命名空间。standby可以确保在集群出错时，命名空间状态已经完全同步了，如图所示:

为了确保快速切换，standby状态的NameNode有必要知道集群中所有数据块的位置。为了做到这点，所有的datanodes必须配置两个NameNode的地址，发送数据块位置信息和心跳给他们两个。 

对于HA集群而言，确保同一时刻只有一个NameNode处于active状态是至关重要的。否则，两个NameNode的数据状态就会产生分歧，可能丢失数据，或者产生错误的结果。为了保证这点，JNS必须确保同一时刻只有一个NameNode可以向自己写数据。 

      注意:在HA集群中，standby状态的NameNode可以完成checkpoint操作，因此没必要配置Secondary NameNode、CheckpointNode、BackupNode。如果真的配置了，还会报错。

3.自动故障转移

    有一个洋气的名字叫做automaticaly failover.

    而手动故障转移配置叫做configure a manual failover.也就是说，在手动的模式下，系统不会自动启动故障转移，就是Active----》Stanby的过程。就必须执行一条命令: hdfs haadmin -failover --forcefence serviceId serviced2.就会把状态进行安全的切换。其中serviceId2就会变成active状态.

    但是自动就没有这样简单啦，自动故障处理需要两个组件:a ZooKeeper quorum和ZKFailoverController进程（简称ZKFC）.在其中ZooKeeper主要做两件事:

      Failure detection故障检测,集群中的每个NameNode机器的持久会话都会在ZooKeeper管理保存,如果机器崩溃的话，zookeeper就会将会话到期，然后通知另一个故障转移会被触发.

      Active NameNode election：Active NameNode的选举,zookeeper提供了一个简单的机制来专门选择一个节点作为活跃。如果当前活动NameNode崩溃,另一个节点可能拿到一个特殊的互斥型锁用来表明它应该成为下一个active NameNode。

      ZKFailoverController实际上是zookeeper的一个客户端，同时监控和管理着NameNode的状态,每一个跑着ZKFC的NameNode，都有下面的作用:

       健康的监控，ZooKeeper会话管理，Zookeeper基础选举.

4.Hadoop集群的机器分配

    硬件:7台CentOS虚拟机,内存512，硬盘20G.

    网络:

    服务:

     说明:

5.安装配置zookeeper集群

   省略.见链接:http://my.oschina.net/codeWatching/blog/367309

6.安装配置Hadoop集群

  Hadoop的配置文件集中在/etc/hadoop/下

7.配置信息的拷贝

scp -r ./hadoop/ yun10-2:/home/lisai/app/hadoop-2.4.1/etc/hadoop/
scp -r ./hadoop/ yun10-3:/home/lisai/app/hadoop-2.4.1/etc/hadoop/
scp -r ./hadoop/ yun10-4:/home/lisai/app/hadoop-2.4.1/etc/hadoop/
scp -r ./hadoop/ yun10-5:/home/lisai/app/hadoop-2.4.1/etc/hadoop/
scp -r ./hadoop/ yun10-6:/home/lisai/app/hadoop-2.4.1/etc/hadoop/
scp -r ./hadoop/ yun10-7:/home/lisai/app/hadoop-2.4.1/etc/hadoop/

8.启动Hadoop集群

  a.启动ZooKeeper.

./bin/zkServer.sh start
./bin/zkserver.sh status

  b.启动journalnode（分别在在yun10-5、yun10-6、yun10-7上执行）

./sbin/hadoop-daemon.sh start journalnode
jps

   c.格式化HDFS

#在yun10-1上执行命令:
hdfs namenode -format
#格式化后会在根据core-site.xml中的hadoop.tmp.dir配置生成个文件.
 这里我配置的是/home/lisai/app/hadoop-2.4.1/tmp，然后将/home/lisai/app/hadoop-2.4.1/tmp拷贝到yun10-2的/home/lisai/app/hadoop-2.4.1下。
scp -r tmp/ yun10-2:/home/lisai/app/hadoop-2.4.1/tmp

   d.格式化ZK

#在yun10-1执行
hdfs zkfc -formatZK

  d.启动HDFS

#在yun10-1执行NameNode进程
./sbin/start-hdfs.sh
#在yun10-2执行NameNode进程
./sbin/hadoop-daemon.sh start NameNode/可能是小写.
#在yun10-5,yun10-6,yun10-7三台别人启动 
./sbin/hadoop-daemon.sh start datanode

   e.启动YARN(#####注意#####：是在yun10-3上执行start-yarn.sh，把namenode和resourcemanager分开是因为性能问题，因为他们都要占用大量资源，所以把他们分开了，他们分开了就要分别在不同的机器上启动)

#yun10-3
./sbin/start-yarn.sh
#yun10-4
./sbin/yarn-daemon.sh start resourcemanager

9.验证集群

         HDFS:http://yun10-1:50070

         MapReducer:http://yun10-3:8090

以上是“HDFS中HA机制及Hadoop集群搭建的示例分析”这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注创新互联行业资讯频道！