Apache Pulsar集群搭建部署详细过程


Posted in Servers onFebruary 12, 2022

一、集群组成说明

1、搭建Pulsar集群至少需要3个组件:ZooKeeper集群、BookKeeper集群和Broker集群(Broker是Pulsar的自身实例)。这三个集群组件如下:
ZooKeeper集群(3个ZooKeeper节点组成)
Bookie集群(也称为BookKeeper集群,3个BookKeeper节点组成)
Broker集群(3个Pulsar节点组成)

2、Pulsar的安装包已经包含了搭建集群所需的各个组件库,无需单独下载ZooKeeper安装包和BookKeeper安装包。

二、安装前置条件

1、准备3台测试Linux服务器(Centos 7)。
2、在3台Linux裸机服务器上安装JDK(要求版本不低于JDK8)。
3、下载Pulsar安装包,https://pulsar.apache.org/download/,上传至3台服务器。

三、ZooKeeper集群搭建

Pulsar安装包内包含了ZooKeeper,也可以自建ZooKeeper,自建ZooKeeper的方式略。安装Pulsar安装包内的ZooKeeper方法如下:

1、解压Pulsar安装包

Apache Pulsar集群搭建部署详细过程

切换到根目录:$ cd / 
创建data目录:$ mkdir data
解压:$ tar -zxvf apache-pulsar-2.9.1-bin.tar.gz

2、修改zookeeper.conf配置文件(三个节点上都需执行此操作),新增或修改如下关键配置项:

# dataDir是修改,其他都是新增
dataDir=/data/zookeeper/data
dataLogDir=/data/zookeeper/log
server.1=IP1:2888:3888
server.2=IP2:2888:3888
server.3=IP3:2888:3888

参数说明:
dataDir:当前zookeeper节点的数据存放目录
dataLogDir:当前zookeeper节点的日志存放目录
server.1~3:为zookeeper集群的各个节点指定编号

3、在每个zookeeper节点的机器上,新建如下文件目录:

Apache Pulsar集群搭建部署详细过程

data:ZooKeeper使用的数据存储目录
mkdir -pv /data/zookeeper/data
log:ZooKeeper使用的日志存储目录
mkdir -pv /data/zookeeper/log

4、为每个zookeeper节点新建myid,分别在指定的sever上写入配置文件中指定的编号:

在server.1服务器上执行bash命令:
echo 1 > /data/zookeeper/data/myid
在server.2服务器上执行bash命令:
echo 2 > /data/zookeeper/data/myid
在server.3服务器上执行bash命令:
echo 3 > /data/zookeeper/data/myid

5、执行后台运行命令,这个命令是启动zookeeper:

bin/pulsar-daemon start zookeeper

6、执行zookeeper客户端连接命令:

bin/pulsar zookeeper-shell
客户端正常连接,就算zookeeper启动好了

7、在另外两台服务器上也执行bin/pulsar-daemon start zookeeper之后,在其中一个zookeeper节点的机器上,初始化集群元数据(总共只需执行一次):

例如在IP1上:
bin/pulsar initialize-cluster-metadata \
    --cluster pulsar-cluster-zk \
    --zookeeper IP1:2181 \
    --configuration-store IP1:2181 \
    --web-service-url http://IP1:8080,IP2:8080,IP3:8080 \
    --web-service-url-tls https://IP1:8443,IP2:8443,IP3:8443 \
    --broker-service-url pulsar://IP1:6650,IP2:6650,IP3:6650 \
--broker-service-url-tls pulsar+ssl://IP1:6651,IP2:6651,IP3:6651
或使用如下指令:
bin/pulsar initialize-cluster-metadata \
  --cluster pulsar-cluster-zk \
  --zookeeper HOSTNAMEIP:2181 \
  --configuration-store HOSTNAMEIP:2181 \
  --web-service-url http://HOSTNAMEIP:8080 \
  --web-service-url-tls https://HOSTNAMEIP:8443 \
  --broker-service-url pulsar://HOSTNAMEIP:6650 \
  --broker-service-url-tls pulsar+ssl://HOSTNAMEIP:6651
集群元数据说明:
cluster
集群名称
zookeeper
ZooKeeper集群连接参数,仅需要包含ZooKeeper集群中的一个节点即可
configuration-store
Pulsar实例的配置存储集群(ZooKeeper),多集群部署时才会发挥作用,需要另外部署ZooKeeper集群,但是单集群部署时可以和–zookeeper参数设置一样,只需要包含ZooKeeper集群中的一个节点即可
web-service-url
集群Web服务的URL+端口,URL是一个标准的DNS名称,默认端口8080,不建议修改。
web-service-url-tls
集群Web提供TLS服务的URL+端口,端口默认8443,不建议修改。
broker-service-url
集群brokers服务URL,URL中DNS的名称和Web服务保持一致,URL使用pulsar替代http/http,端口默认6650,不建议修改。
broker-service-url-tls
集群brokers提供TLS服务的URL,默认端口6551,不建议修改。

8、验证zookeeper初始化集群是否初始化成功

bin/pulsar zookeeper-shell
进入zk控制台,通过ls /查看所有zk节点。能看到bookies,ledgers等节点,则说明初始化成功了。
如果需要关闭zookeeper,可使用命令
bin/pulsar-daemon stop zookeeper

Apache Pulsar集群搭建部署详细过程

注意:
启动3台服务器的zookeeper节点之后,发现zookeeper节点之后无法相互注册,需要开放特定的端口或直接关闭防火墙。下面是firewall防火墙相关操作指令:

firewall防火墙
1、查看firewall服务状态
systemctl status firewalld
出现Active: active (running)切高亮显示则表示是启动状态。
出现 Active: inactive (dead)灰色表示停止,看单词也行。

2、查看firewall的状态
firewall-cmd --state

3、开启、重启、关闭、firewalld.service服务
# 开启
service firewalld start
# 重启
service firewalld restart
# 关闭
service firewalld stop

4、查看防火墙规则
firewall-cmd --list-all

5、查询、开放、关闭端口
# 查询端口是否开放
firewall-cmd --query-port=8080/tcp
# 开放80端口
firewall-cmd --permanent --add-port=80/tcp
# 移除端口
firewall-cmd --permanent --remove-port=8080/tcp
#重启防火墙(修改配置后要重启防火墙)
firewall-cmd --reload

四、BookKeeper集群搭建

1、修改bookkeeper.conf配置文件(三个节点上都需执行此操作),修改如下关键配置项:

advertisedAddress=IP1
zkServers=IP1:2181,IP2:2181,IP3:2181
journalDirectory=/data/bookkeeper/journal
ledgerDirectories=/data/bookkeeper/ledgers
prometheusStatsHttpPort=8100

注意:
1、prometheusStatsHttpPort默认是8000,但实际上在bookkeeper.conf中,httpServerPort默认也是8000,会导致端口被占用。
2、上面的advertisedAddress需要设置为对应机器的ip,而不是全设置为同一个

参数说明:
advertisedAddress:指定当前节点的主机名或IP地址。
zkServers:指定zookeeper集群,用来将bookkeeper节点的元数据存放在zookeeper集群。
journalDirectories:当前bookkeeper节点的journal数据存放目录。
如果需要提高磁盘写入性能,可以指定多个目录用来存放journal数据,关键是每一个目录必须在不同的磁盘,不然反而会影响写入性能
ledgerDirectories:当前bookkeeper节点的ledger存放目录

2、在每个部署bookkeeper的机器上,创建bookie所需要目录

mkdir -pv /data/bookkeeper/
mkdir -pv /data/bookkeeper/journal
mkdir -pv /data/bookkeeper/ledgers

3、执行初始化元数据命令,若出现提示,输入Y继续(该步骤只需在一个bookie节点执行一次,总共只需执行一次)

bin/bookkeeper shell metaformat

4、在三台机器上,分别输入以下命令来以后台进程启动bookie

bin/pulsar-daemon start bookie

5、验证是否启动成功

bin/bookkeeper shell bookiesanity
出现Bookie sanity test succeeded则代表启动成功。
如果需要关闭bookkeeper,可使用命令
bin/pulsar-daemon stop bookie

Apache Pulsar集群搭建部署详细过程

五、Broker集群搭建

1、在每个部署Broker的机器上,修改broker.conf配置文件,修改如下关键配置项:

zookeeperServers=IP1:2181,IP2:2181,IP3:2181
configurationStoreServers=IP1:2181,IP2:2181,IP3:2181
advertisedAddress=IP1
# clusterName与前面zookeeper初始化的cluster一致
clusterName=pulsar-cluster-zk

注意:
上面的advertisedAddress需要设置为对应机器的ip,而不是全设置为同一个

参数说明:
zookeeperServers:指定zookeeper集群,用来将broker节点的元数据存放在zookeeper集群
configurationStoreServers:多集群部署时管理多个pulsar集群元数据的zookeeper集群地址,单集群部署时可以和zookeeperServers设置一样
advertisedAddress:指定当前节点的主机名或IP地址
clusterName:指定pulsar集群名称

2、在每个部署Broker的机器上,以后台进程启动broker

bin/pulsar-daemon start broker
如果需要关闭broker,可使用命令
bin/pulsar-daemon stop broker

3、查看集群 brokers 节点情况

bin/pulsar-admin brokers list pulsar-cluster

我们的示例部署正常的话,这一步会显示如下结果:

Apache Pulsar集群搭建部署详细过程

代表此时集群内有存活的节点: IP1、IP2、IP3,端口号都是8080。到这一步,Pulsar的部署就完成了。

六、docker安装pulsar-dashboard

Pulsar自带 Dashboard,可对broker、bookie、ZooKeeper 集群和topic等进行监控和统计。

1、安装docker

yum install -y docker 
systemctl start docker
systemctl enable docker

2、安装pulsar-dashboard

docker run --name pulsar-dashboard -dit -p 80:80 -e SERVICE_URL=http://PULSARSEVERIP:8080 apachepulsar/pulsar-dashboard

通过浏览器访问docker宿主机IP

Apache Pulsar集群搭建部署详细过程

到此这篇关于Apache Pulsar集群搭建的文章就介绍到这了,更多相关Apache Pulsar集群内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Servers 相关文章推荐
Nginx服务器添加Systemd自定义服务过程解析
Mar 31 Servers
nginx proxy_cache 缓存配置详解
Mar 31 Servers
nginx里的rewrite跳转的实现
Mar 31 Servers
windows下快速安装nginx并配置开机自启动的方法
May 11 Servers
NGINX 权限控制文件预览和下载的实现原理
Jan 18 Servers
使用kubeadm命令行工具创建kubernetes集群
Mar 31 Servers
Windows server 2012 配置Telnet以及用法详解
Apr 28 Servers
Ubuntu Server 安装Tomcat并配置systemctl
Apr 28 Servers
vscode内网访问服务器的方法
Jun 28 Servers
教你nginx跳转配置的四种方式
Jul 07 Servers
Fluentd搭建日志收集服务
Sep 23 Servers
详解nginx安装过程并代理下载服务器文件
Feb 12 #Servers
nginx从安装到配置详细说明(安装,安全配置,防盗链,动静分离,配置 HTTPS,性能优化)
Nginx性能优化之Gzip压缩设置详解(最大程度提高页面打开速度)
Feb 12 #Servers
使用 Apache Dubbo 实现远程通信(微服务架构)
Nginx 反向代理解决跨域问题多种情况分析
Jan 18 #Servers
详解nginx location指令
Jan 18 #Servers
图文详解nginx日志切割的实现
Jan 18 #Servers
You might like
我的论坛源代码(七)
2006/10/09 PHP
PHP中实现crontab代码分享
2015/03/26 PHP
smarty模板引擎基础知识入门
2015/03/30 PHP
Git命令之分支详解
2021/03/02 PHP
jWiard 基于JQuery的强大的向导控件介绍
2011/10/28 Javascript
JQuery循环滚动图片代码
2011/12/08 Javascript
Javascript 闭包引起的IE内存泄露分析
2012/05/23 Javascript
Jquery右下角抖动、浮动 实例代码(兼容ie6、FF)
2013/08/15 Javascript
jquery实现滑动特效代码
2015/08/10 Javascript
用jquery快速解决IE输入框不能输入的问题
2016/10/04 Javascript
axios学习教程全攻略
2017/03/26 Javascript
Vue子组件向父组件通信与父组件调用子组件中的方法
2018/06/22 Javascript
解决layer 关闭当前弹窗 关闭遮罩层 input值获取不到的问题
2019/09/25 Javascript
python类:class创建、数据方法属性及访问控制详解
2016/07/25 Python
python绘制多个曲线的折线图
2020/03/23 Python
django一对多模型以及如何在前端实现详解
2019/07/24 Python
解决运行django程序出错问题 'str'object has no attribute'_meta'
2020/07/15 Python
Django DRF APIView源码运行流程详解
2020/08/17 Python
python 爬取小说并下载的示例
2020/12/07 Python
css3与html5实现响应式导航菜单(导航栏)效果分享
2014/02/12 HTML / CSS
英国高街电视:High Street TV
2018/05/22 全球购物
The Hut英国:英国领先的豪华在线百货商店
2019/07/26 全球购物
门卫工作岗位职责
2013/12/17 职场文书
推广普通话演讲稿
2014/05/23 职场文书
小学学校评估方案
2014/06/08 职场文书
民主评议党员自我评价材料
2014/09/18 职场文书
医院护士工作检讨书
2014/10/26 职场文书
2014年最新版离婚协议书范本
2014/11/25 职场文书
幼儿园秋季开学通知
2015/07/16 职场文书
母亲节主题班会
2015/08/14 职场文书
宣传部部长竞选稿
2015/11/21 职场文书
《葡萄沟》教学反思
2016/02/23 职场文书
2019年行政人事个人工作总结范本!
2019/07/19 职场文书
八年级作文之友谊
2019/12/02 职场文书
python中pymysql包操作数据库方法
2022/04/19 Python
Elasticsearch 基本查询和组合查询
2022/04/19 Python