重庆分公司,新征程启航
为企业提供网站建设、域名注册、服务器等服务
需要搭建一个庞大的cdh系统 //写一个博客系列 从无到有 自己思想的升华!
根据此系统进行相应的优化
构思:
1、搭建cdh 前硬件资源的选型 //这里就要针对hadoop生态圈 去选择什么样的硬件 cpu 硬盘厂家等
2、搭建cdh 版本控制,各个版本的相应的信息
3、搭建cdh 生产环境前的Linux 优化
4、搭建cdh 集群时候的角色规划
5、搭建cdh 生产环境搭建
6、搭建cdh 后hdfs集群优化
7、搭建cdh 后hbase集群的相关优化(HDFS相关配置优化,HBase服务器端优化(GC优化、Compaction优化、硬件配置优化),列族设计优化,客户端优化等)
我们提供的服务有:网站设计、做网站、微信公众号开发、网站优化、网站认证、石峰ssl等。为千余家企事业单位解决了网站和推广的问题。提供周到的售前咨询和贴心的售后服务,是有科学管理、有技术的石峰网站制作公司
cdh搭建过程
大体过程分为这几部
1、前期优化
2、MySQL搭建
3、jdk
4、jdbc
5、cdh具体搭建
//在这里,需要去了解4大组件的性能调优 hdfs hbase yarn kafka
先从hdfs hbase开始
4、笔者总结至少有如下几个方面:
//HDFS相关配置优化,HBase服务器端优化(GC优化、Compaction优化、硬件配置优化),列族设计优化,客户端优化等,
其中客户端优化在前面已经通过超时机制、重试机制讲过,后面笔者会继续分别介绍其他三个优化重点。
重要的一点,需要升入查看cdh官网的一些参数资料*****