Apache Pulsar集群搭建部署详细过程


Posted in Servers onFebruary 12, 2022

一、集群组成说明

1、搭建Pulsar集群至少需要3个组件:ZooKeeper集群、BookKeeper集群和Broker集群(Broker是Pulsar的自身实例)。这三个集群组件如下:
ZooKeeper集群(3个ZooKeeper节点组成)
Bookie集群(也称为BookKeeper集群,3个BookKeeper节点组成)
Broker集群(3个Pulsar节点组成)

2、Pulsar的安装包已经包含了搭建集群所需的各个组件库,无需单独下载ZooKeeper安装包和BookKeeper安装包。

二、安装前置条件

1、准备3台测试Linux服务器(Centos 7)。
2、在3台Linux裸机服务器上安装JDK(要求版本不低于JDK8)。
3、下载Pulsar安装包,https://pulsar.apache.org/download/,上传至3台服务器。

三、ZooKeeper集群搭建

Pulsar安装包内包含了ZooKeeper,也可以自建ZooKeeper,自建ZooKeeper的方式略。安装Pulsar安装包内的ZooKeeper方法如下:

1、解压Pulsar安装包

Apache Pulsar集群搭建部署详细过程

切换到根目录:$ cd / 
创建data目录:$ mkdir data
解压:$ tar -zxvf apache-pulsar-2.9.1-bin.tar.gz

2、修改zookeeper.conf配置文件(三个节点上都需执行此操作),新增或修改如下关键配置项:

# dataDir是修改,其他都是新增
dataDir=/data/zookeeper/data
dataLogDir=/data/zookeeper/log
server.1=IP1:2888:3888
server.2=IP2:2888:3888
server.3=IP3:2888:3888

参数说明:
dataDir:当前zookeeper节点的数据存放目录
dataLogDir:当前zookeeper节点的日志存放目录
server.1~3:为zookeeper集群的各个节点指定编号

3、在每个zookeeper节点的机器上,新建如下文件目录:

Apache Pulsar集群搭建部署详细过程

data:ZooKeeper使用的数据存储目录
mkdir -pv /data/zookeeper/data
log:ZooKeeper使用的日志存储目录
mkdir -pv /data/zookeeper/log

4、为每个zookeeper节点新建myid,分别在指定的sever上写入配置文件中指定的编号:

在server.1服务器上执行bash命令:
echo 1 > /data/zookeeper/data/myid
在server.2服务器上执行bash命令:
echo 2 > /data/zookeeper/data/myid
在server.3服务器上执行bash命令:
echo 3 > /data/zookeeper/data/myid

5、执行后台运行命令,这个命令是启动zookeeper:

bin/pulsar-daemon start zookeeper

6、执行zookeeper客户端连接命令:

bin/pulsar zookeeper-shell
客户端正常连接,就算zookeeper启动好了

7、在另外两台服务器上也执行bin/pulsar-daemon start zookeeper之后,在其中一个zookeeper节点的机器上,初始化集群元数据(总共只需执行一次):

例如在IP1上:
bin/pulsar initialize-cluster-metadata \
    --cluster pulsar-cluster-zk \
    --zookeeper IP1:2181 \
    --configuration-store IP1:2181 \
    --web-service-url http://IP1:8080,IP2:8080,IP3:8080 \
    --web-service-url-tls https://IP1:8443,IP2:8443,IP3:8443 \
    --broker-service-url pulsar://IP1:6650,IP2:6650,IP3:6650 \
--broker-service-url-tls pulsar+ssl://IP1:6651,IP2:6651,IP3:6651
或使用如下指令:
bin/pulsar initialize-cluster-metadata \
  --cluster pulsar-cluster-zk \
  --zookeeper HOSTNAMEIP:2181 \
  --configuration-store HOSTNAMEIP:2181 \
  --web-service-url http://HOSTNAMEIP:8080 \
  --web-service-url-tls https://HOSTNAMEIP:8443 \
  --broker-service-url pulsar://HOSTNAMEIP:6650 \
  --broker-service-url-tls pulsar+ssl://HOSTNAMEIP:6651
集群元数据说明:
cluster
集群名称
zookeeper
ZooKeeper集群连接参数,仅需要包含ZooKeeper集群中的一个节点即可
configuration-store
Pulsar实例的配置存储集群(ZooKeeper),多集群部署时才会发挥作用,需要另外部署ZooKeeper集群,但是单集群部署时可以和–zookeeper参数设置一样,只需要包含ZooKeeper集群中的一个节点即可
web-service-url
集群Web服务的URL+端口,URL是一个标准的DNS名称,默认端口8080,不建议修改。
web-service-url-tls
集群Web提供TLS服务的URL+端口,端口默认8443,不建议修改。
broker-service-url
集群brokers服务URL,URL中DNS的名称和Web服务保持一致,URL使用pulsar替代http/http,端口默认6650,不建议修改。
broker-service-url-tls
集群brokers提供TLS服务的URL,默认端口6551,不建议修改。

8、验证zookeeper初始化集群是否初始化成功

bin/pulsar zookeeper-shell
进入zk控制台,通过ls /查看所有zk节点。能看到bookies,ledgers等节点,则说明初始化成功了。
如果需要关闭zookeeper,可使用命令
bin/pulsar-daemon stop zookeeper

Apache Pulsar集群搭建部署详细过程

注意:
启动3台服务器的zookeeper节点之后,发现zookeeper节点之后无法相互注册,需要开放特定的端口或直接关闭防火墙。下面是firewall防火墙相关操作指令:

firewall防火墙
1、查看firewall服务状态
systemctl status firewalld
出现Active: active (running)切高亮显示则表示是启动状态。
出现 Active: inactive (dead)灰色表示停止,看单词也行。

2、查看firewall的状态
firewall-cmd --state

3、开启、重启、关闭、firewalld.service服务
# 开启
service firewalld start
# 重启
service firewalld restart
# 关闭
service firewalld stop

4、查看防火墙规则
firewall-cmd --list-all

5、查询、开放、关闭端口
# 查询端口是否开放
firewall-cmd --query-port=8080/tcp
# 开放80端口
firewall-cmd --permanent --add-port=80/tcp
# 移除端口
firewall-cmd --permanent --remove-port=8080/tcp
#重启防火墙(修改配置后要重启防火墙)
firewall-cmd --reload

四、BookKeeper集群搭建

1、修改bookkeeper.conf配置文件(三个节点上都需执行此操作),修改如下关键配置项:

advertisedAddress=IP1
zkServers=IP1:2181,IP2:2181,IP3:2181
journalDirectory=/data/bookkeeper/journal
ledgerDirectories=/data/bookkeeper/ledgers
prometheusStatsHttpPort=8100

注意:
1、prometheusStatsHttpPort默认是8000,但实际上在bookkeeper.conf中,httpServerPort默认也是8000,会导致端口被占用。
2、上面的advertisedAddress需要设置为对应机器的ip,而不是全设置为同一个

参数说明:
advertisedAddress:指定当前节点的主机名或IP地址。
zkServers:指定zookeeper集群,用来将bookkeeper节点的元数据存放在zookeeper集群。
journalDirectories:当前bookkeeper节点的journal数据存放目录。
如果需要提高磁盘写入性能,可以指定多个目录用来存放journal数据,关键是每一个目录必须在不同的磁盘,不然反而会影响写入性能
ledgerDirectories:当前bookkeeper节点的ledger存放目录

2、在每个部署bookkeeper的机器上,创建bookie所需要目录

mkdir -pv /data/bookkeeper/
mkdir -pv /data/bookkeeper/journal
mkdir -pv /data/bookkeeper/ledgers

3、执行初始化元数据命令,若出现提示,输入Y继续(该步骤只需在一个bookie节点执行一次,总共只需执行一次)

bin/bookkeeper shell metaformat

4、在三台机器上,分别输入以下命令来以后台进程启动bookie

bin/pulsar-daemon start bookie

5、验证是否启动成功

bin/bookkeeper shell bookiesanity
出现Bookie sanity test succeeded则代表启动成功。
如果需要关闭bookkeeper,可使用命令
bin/pulsar-daemon stop bookie

Apache Pulsar集群搭建部署详细过程

五、Broker集群搭建

1、在每个部署Broker的机器上,修改broker.conf配置文件,修改如下关键配置项:

zookeeperServers=IP1:2181,IP2:2181,IP3:2181
configurationStoreServers=IP1:2181,IP2:2181,IP3:2181
advertisedAddress=IP1
# clusterName与前面zookeeper初始化的cluster一致
clusterName=pulsar-cluster-zk

注意:
上面的advertisedAddress需要设置为对应机器的ip,而不是全设置为同一个

参数说明:
zookeeperServers:指定zookeeper集群,用来将broker节点的元数据存放在zookeeper集群
configurationStoreServers:多集群部署时管理多个pulsar集群元数据的zookeeper集群地址,单集群部署时可以和zookeeperServers设置一样
advertisedAddress:指定当前节点的主机名或IP地址
clusterName:指定pulsar集群名称

2、在每个部署Broker的机器上,以后台进程启动broker

bin/pulsar-daemon start broker
如果需要关闭broker,可使用命令
bin/pulsar-daemon stop broker

3、查看集群 brokers 节点情况

bin/pulsar-admin brokers list pulsar-cluster

我们的示例部署正常的话,这一步会显示如下结果:

Apache Pulsar集群搭建部署详细过程

代表此时集群内有存活的节点: IP1、IP2、IP3,端口号都是8080。到这一步,Pulsar的部署就完成了。

六、docker安装pulsar-dashboard

Pulsar自带 Dashboard,可对broker、bookie、ZooKeeper 集群和topic等进行监控和统计。

1、安装docker

yum install -y docker 
systemctl start docker
systemctl enable docker

2、安装pulsar-dashboard

docker run --name pulsar-dashboard -dit -p 80:80 -e SERVICE_URL=http://PULSARSEVERIP:8080 apachepulsar/pulsar-dashboard

通过浏览器访问docker宿主机IP

Apache Pulsar集群搭建部署详细过程

到此这篇关于Apache Pulsar集群搭建的文章就介绍到这了,更多相关Apache Pulsar集群内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Servers 相关文章推荐
nginx处理http请求实现过程解析
Mar 31 Servers
win10安装配置nginx的过程
Mar 31 Servers
Nginx进程管理和重载原理详解
Apr 22 Servers
Nginx如何配置Http、Https、WS、WSS的方法步骤
May 11 Servers
Windows Server 2019 安装DHCP服务及相关配置
Apr 28 Servers
阿里云国际版 使用Nginx作为HTTPS转发代理服务器
May 11 Servers
Apache SeaTunnel实现 非CDC数据抽取
May 20 Servers
Windows10安装Apache2.4的方法步骤
Jun 25 Servers
Nginx如何配置根据路径转发详解
Jul 23 Servers
django项目、vue项目部署云服务器的详细过程
Jul 23 Servers
阿里云服务器(windows)手动部署FTP站点详细教程
Aug 05 Servers
Apache SkyWalking 监控 MySQL Server 实战解析
Sep 23 Servers
详解nginx安装过程并代理下载服务器文件
Feb 12 #Servers
nginx从安装到配置详细说明(安装,安全配置,防盗链,动静分离,配置 HTTPS,性能优化)
Nginx性能优化之Gzip压缩设置详解(最大程度提高页面打开速度)
Feb 12 #Servers
使用 Apache Dubbo 实现远程通信(微服务架构)
Nginx 反向代理解决跨域问题多种情况分析
Jan 18 #Servers
详解nginx location指令
Jan 18 #Servers
图文详解nginx日志切割的实现
Jan 18 #Servers
You might like
PHP入门速成(2)
2006/10/09 PHP
ThinkPHP页面跳转success与error方法概述
2014/06/25 PHP
Yii框架连接mongodb数据库的代码
2016/07/27 PHP
php实现微信企业转账功能
2018/10/02 PHP
checkbox 多选框 联动实现代码
2008/10/22 Javascript
jQuery easyui datagrid动态查询数据实例讲解
2013/02/26 Javascript
Javascript编写2048小游戏
2015/07/07 Javascript
js获取元素的外链样式的简单实现方法
2016/06/06 Javascript
深入浅析javascript中的作用域(推荐)
2016/07/19 Javascript
AngularJS中的JSONP实例解析
2016/12/01 Javascript
AugularJS从入门到实践(必看篇)
2017/07/10 Javascript
解决低版本的浏览器不支持es6的import问题
2018/03/09 Javascript
Webpack中publicPath路径问题详解
2018/05/03 Javascript
vuejs前后端数据交互之从后端请求数据的实例
2018/08/11 Javascript
微信小程序实现tab左右切换效果
2020/11/15 Javascript
react 应用多入口配置及实践总结
2018/10/17 Javascript
[36:33]Ti4 循环赛第四日 附加赛NEWBEE vs Mouz
2014/07/13 DOTA
python时间整形转标准格式的示例分享
2014/02/14 Python
Python 文件处理注意事项总结
2017/04/10 Python
Python并发编程协程(Coroutine)之Gevent详解
2017/12/27 Python
使用python对excle和json互相转换的示例
2018/10/23 Python
通过pykafka接收Kafka消息队列的方法
2018/12/27 Python
python打造爬虫代理池过程解析
2019/08/15 Python
深入浅析Python 函数注解与匿名函数
2020/02/24 Python
opencv+python实现鼠标点击图像,输出该点的RGB和HSV值
2020/06/02 Python
keras和tensorflow使用fit_generator 批次训练操作
2020/07/03 Python
描述一下JVM加载class文件的原理机制
2013/12/08 面试题
介绍一下ICMP(Internet Control Message Protocol)Internet控制信息协议
2016/11/26 面试题
关于青春的演讲稿三分钟
2014/08/22 职场文书
检讨书1000字
2014/10/11 职场文书
2015年元旦促销方案书
2014/12/09 职场文书
2015年度学校卫生工作总结
2015/05/12 职场文书
CocosCreator如何实现划过的位置显示纹理
2021/04/14 Javascript
用CSS3画一个爱心
2021/04/27 HTML / CSS
Mysql服务添加 iptables防火墙策略的方案
2021/04/29 MySQL
阿里云服务器Ubuntu 20.04上安装Odoo 15
2022/05/20 Servers