重庆分公司,新征程启航
为企业提供网站建设、域名注册、服务器等服务
1.在大数据的领域之中,体系结构都是主从结构(存在主节点和从节点)
创新互联2013年至今,先为浦口等服务建站,浦口等地企业,进行企业商务咨询服务。为浦口企业网站制作PC+手机+微官网三网同步一站式服务解决您的所有建站问题。在此当中单点指的是主节点发生故障,主节点的故障会导致整个集群无法访问。无论是何种集群主节点的故障导致的结果都相似。
集群 | 主节点 | 从节点 |
---|---|---|
HDFS | NameNode | DateNode |
Yarn | resourceManager | NodeManager |
HBase | HMaster | RegionServer |
Storn | Nimbus | Supervisor |
Spark | Master | Worker |
通过创造多个主节点来避免当个主节点发生故障导致的集群无法访问。
不同的集群都需要借助ZooKeeper来实现HA。
2.集群的配置
Zookeeper集群:
192.168.157.12 (bigdata12)
192.168.157.13 (bigdata13)
192.168.157.14 (bigdata14)
Hadoop集群:
192.168.157.12 (bigdata12) NameNode1 ResourceManager1 Journalnode
192.168.157.13 (bigdata13) NameNode2 ResourceManager2 Journalnode
192.168.157.14 (bigdata14) DataNode1
192.168.157.15 (bigdata15) DataNode2
日志输出信息:
我们可以观察到两个主节点并不是都是Active的状态而是一个active一个standby。而且在Active状态下的主节点出现故障是可以自动将Standby状态下的主节点转化为active的状态从而实现应对单节故障导致集群无法访问的结果。
你是否还在寻找稳定的海外服务器提供商?创新互联www.cdcxhl.cn海外机房具备T级流量清洗系统配攻击溯源,准确流量调度确保服务器高可用性,企业级服务器适合批量采购,新人活动首月15元起,快前往官网查看详情吧