重庆分公司,新征程启航
为企业提供网站建设、域名注册、服务器等服务
需要搭建一个庞大的cdh系统 //写一个博客系列 从无到有 自己思想的升华!
根据此系统进行相应的优化
构思:
1、搭建cdh 前硬件资源的选型 //这里就要针对hadoop生态圈 去选择什么样的硬件 cpu 硬盘厂家等
2、搭建cdh 版本控制,各个版本的相应的信息
3、搭建cdh 生产环境前的Linux 优化
4、搭建cdh 集群时候的角色规划
5、搭建cdh 生产环境搭建
6、搭建cdh 后hdfs集群优化
7、搭建cdh 后hbase集群的相关优化(HDFS相关配置优化,HBase服务器端优化(GC优化、Compaction优化、硬件配置优化),列族设计优化,客户端优化等)
cdh搭建过程
大体过程分为这几部
1、前期优化
2、mysql搭建
3、jdk
4、jdbc
5、cdh具体搭建
//在这里,需要去了解4大组件的性能调优 hdfs hbase yarn kafka
先从hdfs hbase开始
4、笔者总结至少有如下几个方面:
//HDFS相关配置优化,HBase服务器端优化(GC优化、Compaction优化、硬件配置优化),列族设计优化,客户端优化等,
其中客户端优化在前面已经通过超时机制、重试机制讲过,后面笔者会继续分别介绍其他三个优化重点。
重要的一点,需要升入查看cdh官网的一些参数资料*****
另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。