重庆分公司,新征程启航
为企业提供网站建设、域名注册、服务器等服务
zookeeper+kafka集群部署+storm集群
创新互联主要从事成都网站设计、成都做网站、网页设计、企业做网站、公司建网站等业务。立足成都服务宿松,十多年网站建设经验,价格优惠、服务专业,欢迎来电咨询建站服务:18980820575一、环境安装前准备:
准备三台机器
操作系统:centos6.8
jdk:jdk-8u111-linux-x64.gz
zookeeper:zookeeper-3.4.11.tar.gz
kafka: kafka_2.11-1.0.1.tgz
storm:apache-storm-1.2.2.tar.gz
配置/etc/hosts(三台上都操作)
vi /etc/hosts
192.168.1.211 canal01
192.168.1.212 canal02
192.168.1.213 canal03
二、jdk安装(三台)
2.1解压软件
tar zxvf jdk-8u111-linux-x64.gz
mv jdk-8u111-linux-x64 /usr/local/jdk
2.2配置环境变量
vi /etc/profile
#java
JAVA_HOME=/usr/local/jdk
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME
export PATH
export CLASSPATH
环境变量生效
source /etc/profile
三、zookeeper集群安装(三台上操作)
3.1解压软件
tar zxvf zookeeper-3.4.11.tar.gz
mv zookeeper-3.4.11 /usr/local/zookeeper
cd /usr/local/zookeeper/conf
mv mv zoo_sample.cfg zoo.cfg
3.2、配置zoo.cfg
vi zoo.cfg
#修改
dataDir=/usr/local/zookeeper/data
#添加
dataLogDir=/usr/local/zookeeper/logs
server.1=192.168.1.211:2888:3888
server.2=192.168.1.212:2888:3888
server.3=192.168.1.213:2888:3888
3.3、创建目录
mkdir /usr/local/zookeeper/data
mkdir /usr/local/zookeeper/logs
在192.168.1.211操作
echo "1" >/usr/local/zookeeper/data/myid
在192.168.1.212操作
echo "2" >/usr/local/zookeeper/data/myid
在192.168.1.213操作
echo "3" >/usr/local/zookeeper/data/myid
3.4、启动zookeeper
cd /usr/local/zookeeper/bin/
./zkServer.sh start
3.5、查看状态
cd /usr/local/zookeeper/bin/
./zkServer.sh status
注意:查看zookeeper集群的状态,出现Mode:follower或是Mode:leader则代表成功
四、kafka集群安装(三台上操作)
4.1解压软件
tar zxvf kafka_2.11-1.0.1.tgz
mv kafka_2.11-1.0.1 /usr/local/kafka
4.2配置kafka(在三台分别操作)
在192.168.1.211操作
cd /usr/local/kafka/config/
cp server.properties server0.properties
vi server0.properties
#修改
broker.id=0
zookeeper.connect=192.168.1.211:2181,192.168.1.212:2181,192.168.1.213:2181
在192.168.1.212操作
cd /usr/local/kafka/config/
cp server.properties server0.properties
vi server0.properties
#修改
broker.id=1
zookeeper.connect=192.168.1.211:2181,192.168.1.212:2181,192.168.1.213:2181
在192.168.1.213操作
cd /usr/local/kafka/config/
cp server.properties server0.properties
vi server0.properties
#修改
broker.id=2
zookeeper.connect=192.168.1.211:2181,192.168.1.212:2181,192.168.1.213:2181
4.3启动kafka(采用后台启动方式)
/usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server0.properties
查看日志是否成功
cd /usr/local/kafka/logs
tail -200 kafkaServer.out
以上图说明成功,没有报错
五、storm集群安装(三台都操作)
5.1、解压软件
tar zxvf apache-storm-1.2.2.tar.gz
mv apache-storm-1.2.2 /usr/local/storm
5.2、配置storm
cd /usr/local/storm/conf/
vi storm.yaml
##配置
storm.zookeeper.servers:
- "192.168.1.211"
- "192.168.1.212"
- "192.168.1.213"
storm.zookeeper.port: 2181
nimbus.seeds: ["canal01"]
storm.local.dir: "/usr/local/storm/storm-local"
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
storm.health.check.dir: "healthchecks"
storm.health.check.timeout.ms: 5000
5.3、配置环境变量
vi /etc/profile
##storm
export STORM_HOME=/usr/local/storm
export PATH=${STORM_HOME}/bin:$PATH
环境变量生效
source /etc/profile
5.4、启动storm
在192.168.1.211操作
storm nimbus >/dev/null 2>&1 &
storm ui &
在192.168.1.212操作
storm supervisor >/dev/null 2>&1 &
在192.168.1.213操作
storm supervisor >/dev/null 2>&1 &
访问strom http://192.168.1.211:8080
另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。