重庆分公司
重庆分公司，新征程启航
为企业提供网站建设、域名注册、服务器等服务
Hadoop+Hbase+Zookeeper集群配置-创新互联
系统版本： CentOS 7.3 最小化安装
创新互联建站服务项目包括囊谦网站建设、囊谦网站制作、囊谦网页制作以及囊谦网络营销策划等。多年来，我们专注于互联网行业，利用自身积累的技术优势、行业经验、深度合作伙伴关系等，向广大中小型企业、政府机构等提供互联网行业的解决方案，囊谦网站推广取得了明显的社会效益与经济效益。目前，我们服务的客户以成都为中心已经辐射到囊谦省份的部分城市，未来相信会继续扩大服务区域并继续获得客户的支持与信任！软件版本： Hadoop 2.8.0 Hbase 1.3.1 Zookeeper 3.4.9
集群规划：
| 主机名 | IP |
| hadoop01 | 192.168.1.61 |
| hadoop02 | 192.168.1.62 |
| hadoop03 | 192.168.1.63 |
一、服务器初始配置 (所有服务器执行)
1、按集群规划修改主机名及IP地址。
2、关闭防火墙
systemctl stop firewalld.service systemctl disable firewalld.service
3、关闭Selinux
sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config sed -i "s/SELINUXTYPE=targeted/#SELINUXTYPE=targeted/g" /etc/selinux/config
4、安装yum源及软件
yum install epel-release -y yum install yum-axelget -y yum install expect wget unzip bash-completion vim* -y echo "alias vi='vim'">>/etc/bashrc
5、添加host
echo " 192.168.1.61 hadoop01 192.168.1.62 hadoop02 192.168.1.63 hadoop03 ">>/etc/hosts
6、配置免密码登录
#在所有服务器执行以下操作 ssh-keygen #一路回车 #在hadoop01执行以下操作 cd /root/.ssh cat id_rsa.pub >>authorized_keys scp authorized_keys hadoop02:/root/.ssh #在hadoop02执行以下操作 cd /root/.ssh cat id_rsa.pub >>authorized_keys scp authorized_keys hadoop03:/root/.ssh #在hadoop03执行以下操作 cd /root/.ssh cat id_rsa.pub >>authorized_keys scp authorized_keys hadoop01:/root/.ssh scp authorized_keys hadoop02:/root/.ssh #验证配置 #在任意服务器ssh其他服务器，是否可直接登录
7、安装JDK
cd /tmp #去官网下载jdk-8u131-linux-x64.rpm yum install jdk-8u131-linux-x64.rpm -y
8、添加系统变量
echo " export JAVA_HOME=/usr/java/jdk1.8.0_131 export PATH=\$PATH:\$JAVA_HOME/bin export HADOOP_HOME=/data/hadoop export PATH=\$PATH:\$HADOOP_HOME/bin export ZK_HOME=/data/zk export PATH=\$PATH:\$ZK_HOME/bin export HBASE_HOME=/data/hbase export PATH=\$PATH:\$HBASE_HOME/bin ">>/etc/profile
9、系统升级并重启
yum update -y reboot
二、Zookeeper集群部署
1、下载安装
#在所有服务器执行 mkdir /data cd /tmp wget https://archive.apache.org/dist/zookeeper/stable/zookeeper-3.4.9.tar.gz tar zxvf zookeeper-3.4.9.tar.gz mv zookeeper-3.4.9 /data/zk mkdir /data/zk/logs mkdir /data/zk/data chown -R root:root /data/zk
2、添加配置文件
#在所有服务器执行 cat >>/data/zk/conf/zoo.cfg<3、设置myid
#在hadoop01执行 echo "1" > /data/zk/data/myid #在hadoop02执行 echo "2" > /data/zk/data/myid #在hadoop03执行 echo "3" > /data/zk/data/myid4、添加开机启动脚本并配置系统服务
echo "[Unit] Description=Zookeeper After=syslog.target network.target remote-fs.target nss-lookup.target [Service] Type=forking PIDFile=/data/zk/data/zookeeper_server.pid ExecStart=/data/zk/bin/zkServer.sh start ExecStop=/data/zk/bin/zkServer.sh stop [Install] WantedBy=multi-user.target ">>/usr/lib/systemd/system/zookeeper.service systemctl enable zookeeper.service systemctl start zookeeper.service systemctl status -l zookeeper.service5、验证配置
#在任意服务器上执行 zkServer.sh status
三、Hadoop集群部署
1、下载安装
cd /tmp wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.8.0/hadoop-2.8.0.tar.gz tar zxvf hadoop-2.8.0.tar.gz mv hadoop-2.8.0 /data/hadoop cd /data/hadoop/ mkdir tmp hdfs mkdir hdfs/name hdfs/tmp hdfs/data chown -R root:root /data/hadoop/2、修改/usr/hadoop/etc/hadoop/hadoop-env.sh
#修改第25行jdk环境变量 export JAVA_HOME=/usr/java/jdk1.8.0_131 #修改第33行，配置文件目录位置 export HADOOP_CONF_DIR=/data/hadoop/etc/hadoop3、修改/usr/hadoop/etc/hadoop/core-site.xml,修改后文件如下：
hadoop.tmp.dir /data/hadoop/tmp true A base for other temporary directories. fs.default.name hdfs://192.168.1.61:9000 true io.file.buffer.size 131072 ha.zookeeper.quorum 192.168.1.61:2181,192.168.1.62:2181,192.168.1.63:2181 4、修改/usr/hadoop/etc/hadoop/hdfs-site.xml，修改后文件如下：
dfs.replication 2 dfs.name.dir /data/hadoop/hdfs/name dfs.data.dir /data/hadoop/hdfs/data dfs.namenode.secondary.http-address 192.168.1.61:9001 dfs.webhdfs.enabled true dfs.permissions false 5、复制并修改/usr/hadoop/etc/hadoop/mapred-site.xml
cd /data/hadoop/etc/hadoop/ cp mapred-site.xml.template mapred-site.xmlmapreduce.framework.name yarn 6、修改/usr/hadoop/etc/hadoop/yarn-site.xml，修改后文件如下：
yarn.resourcemanager.address 192.168.1.61:18040 yarn.resourcemanager.scheduler.address 192.168.1.61:18030 yarn.resourcemanager.webapp.address 192.168.1.61:18088 yarn.resourcemanager.resource-tracker.address 192.168.1.61:18025 yarn.resourcemanager.admin.address 192.168.1.61:18141 yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.aux-services.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler 7、配置/usr/hadoop/etc/hadoop/slaves，修改后文件如下：
192.168.1.61 192.168.1.62 192.168.1.638、将Hadoop安装文件夹复制到其他服务器
scp -r /data/hadoop hadoop02:/data scp -r /data/hadoop hadoop03:/data9、格式化HDFS文件系统
hadoop namenode -format
10、启动hadoop集群
cd /data/hadoop/sbin/ ./start-all.sh #此命令会直接启动所有节点，只在hadoop01服务器上执行即可11、验证配置
#查看集群状态 hadoop dfsadmin -report
通过页面 http://192.168.1.61:50070/dfshealth.html 查看
四、Hbase集群部署
1、下载安装
cd /tmp wget http://apache.fayea.com/hbase/1.3.1/hbase-1.3.1-bin.tar.gz tar zxvf hbase-1.3.1-bin.tar.gz mv hbase-1.3.1 /data/hbase chown -R root:root /data/hbase/2、修改/data/hbase/conf/hbase-env.sh,修改后文件如下：
#修改第27行jdk环境变量 export JAVA_HOME=/usr/java/jdk1.8.0_131 #修改第128行禁用自有Zookeeper export HBASE_MANAGES_ZK=false3、修改/data/hbase/conf/hbase-site.xml,修改后文件如下：
hbase.rootdir hdfs://192.168.1.61:9000/hbase hbase.cluster.distributed true hbase.zookeeper.quorum 192.168.1.61:2181,192.168.1.62:2181,192.168.1.63:2181 hbase.master.port 16000 hbase.master.info.port 16010 4、修改/data/hbase/conf/regionservers,修改后文件如下：
192.168.1.61 192.168.1.62 192.168.1.635、复制Hadoop配置文件到hbase配置文件目录下
cd /data/hbase/conf/ cp /data/hadoop/etc/hadoop/core-site.xml . cp /data/hadoop/etc/hadoop/hdfs-site.xml .6、将Hbase安装文件夹复制到其他服务器
scp -r /data/hbase hadoop02:/data scp -r /data/hbase hadoop03:/data7、启动Hbase集群
cd /data/hbase/bin/ ./start-hbase.sh #此命令会直接启动所有节点，只在hadoop01服务器上执行即可8、验证安装
#进入shell hbase shell
通过页面 http://192.168.1.61:16010 查看
集群配置全部完成！
另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。
网页名称：Hadoop+Hbase+Zookeeper集群配置-创新互联
本文网址：http://cqcxhl.com/article/cesccj.html
