基于zookeeper的高可用集群-创新互联

1.准备zookeeper服务器

#node1,node2,node3
#安装请参考http://suyanzhu.blog.51cto.com/8050189/1946580

2.准备NameNode节点

#node1,node4

3.准备JournalNode节点

#node2,node3,node4

4.准备DataNode节点

#node2,node3,node4
#启动DataNode节点命令hadoop-daemon.sh start datanode

5.修改hadoop的hdfs-site.xml配置文件

        
                dfs.nameservices
                yunshuocluster
        
        
                dfs.ha.namenodes.yunshuocluster
                nn1,nn2
        
        
                dfs.namenode.rpc-address.yunshuocluster.nn1
                node1:8020
        
        
                dfs.namenode.rpc-address.yunshuocluster.nn2
                node4:8020
        
        
                dfs.namenode.http-address.yunshuocluster.nn1
                node1:50070
        
        
                dfs.namenode.http-address.yunshuocluster.nn2
                node4:50070
        
        
                dfs.namenode.shared.edits.dir
                qjournal://node2:8485;node3:8485;node4:8485/yunshuocluste
r
        
        
                dfs.client.failover.proxy.provider.mycluster
                org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailo
verProxyProvider
        
        
                dfs.ha.fencing.methods
                sshfence
        
        
                dfs.ha.fencing.ssh.private-key-files
                /root/.ssh/id_dsa
        
        
                dfs.journalnode.edits.dir
                /opt/journalnode/
        
        
                dfs.ha.automatic-failover.enabled
                true
        

6.修改hadoop的core-site.xml配置文件

    
        fs.defaultFS
        hdfs://yunshuocluster
    
    
        hadoop.tmp.dir
        /opt/hadoop-2.5
    
    
        ha.zookeeper.quorum
        node1:2181,node2:2181,node3:2181
    

7.配置slaves配置文件

node2
node3
node4

8.启动zookeeper(node1,node2,node3)

zkServer.sh start

9.启动Journalnode(node2,node3,node4上分别执行下面的命令)

#启动命令 停止命令hadoop-daemon.sh stop journalnode
hadoop-daemon.sh start journalnode

10.检查Journalnode,通过查看日志

cd /home/hadoop-2.5.1/logs
ls
tail -200 hadoop-root-journalnode-node2.log

11.格式化NameNode(两台中的一台,这里格式化node4这台NameNode节点)

hdfs namenode -format

cd /opt/hadoop-2.5
#两台NameNode同步完成
scp -r /opt/hadoop-2.5/* root@node1:/opt/hadoop-2.5/

12.初始化zkfc

hdfs zkfc -formatZK

13.启动服务

start-dfs.sh
#stop-dfs.sh表示停止服务

另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。