pulsar集群部署

2023-03-31 12:53:21 来源:腾讯云

Pulsar是一个分布式的、高可用的、多租户的消息系统,由Apache Pulsar项目开发和维护。Pulsar可以处理大规模数据集,同时提供多种数据持久化选项和各种API,方便开发人员构建基于Pulsar的应用程序。本文将介绍如何在Linux环境下部署Pulsar集群。

系统要求 在部署Pulsar集群之前,您需要满足以下系统要求:


(资料图片)

Linux系统(例如CentOS、Ubuntu等)Java 8或更高版本至少2个主机用于搭建Pulsar集群

下载和安装Pulsar 在开始部署Pulsar之前,您需要下载Pulsar的二进制文件并解压缩到一个目录中。您可以从Pulsar官方网站下载最新版本的二进制文件。

假设您已经将Pulsar的二进制文件解压缩到了/opt/pulsar目录中。在每个Pulsar节点上,您需要设置PULSAR_HOME环境变量:

export PULSAR_HOME=/opt/pulsar

您还需要将$PULSAR_HOME/bin添加到$PATH环境变量中,以便您可以方便地使用Pulsar的命令行工具:

export PATH=$PATH:$PULSAR_HOME/bin

配置ZooKeeper Pulsar需要使用ZooKeeper作为其元数据存储和协调服务。您需要在每个Pulsar节点上安装和配置ZooKeeper。

首先,您需要从ZooKeeper官方网站下载最新版本的二进制文件。然后,将ZooKeeper的二进制文件解压缩到一个目录中(例如/opt/zookeeper),并在每个Pulsar节点上设置ZOOKEEPER_HOME环境变量:

export ZOOKEEPER_HOME=/opt/zookeeper

您还需要将$ZOOKEEPER_HOME/bin添加到$PATH环境变量中:

export PATH=$PATH:$ZOOKEEPER_HOME/bin

接下来,您需要在每个Pulsar节点上创建一个ZooKeeper配置文件(例如/opt/zookeeper/conf/zoo.cfg),并在其中添加以下配置:

tickTime=2000initLimit=10syncLimit=5dataDir=/var/lib/zookeeperclientPort=2181

在上面的配置中,tickTime表示ZooKeeper使用的基本时间单位(以毫秒为单位),initLimit表示ZooKeeper在启动过程中等待Follower节点同步的最大时间(以tick为单位),syncLimit表示Leader节点与Follower节点之间的最大时间差(以tick为单位),dataDir表示ZooKeeper保存其快照和日志的目录,clientPort表示ZooKeeper客户端连接的端口。

您还需要在每个Pulsar节点上创建一个myid文件,以指定该节点在ZooKeeper集群中的唯一标识。您可以将任意数字作为myid文件的内容,例如在节点1上创建一个名为myid的文件,并将内容设置为1:

echo "1" > /var/lib/zookeeper/myid

对于节点2和节点3,您需要创建相应的myid文件,并将内容分别设置为2和3。

最后,您需要启动ZooKeeper服务。在节点1上,可以使用以下命令启动ZooKeeper服务:

zkServer.sh start

在节点2和节点3上,也需要启动ZooKeeper服务。

部署Pulsar集群 在完成ZooKeeper的配置之后,您可以开始部署Pulsar集群了。在每个Pulsar节点上,您需要创建一个broker.conf文件,以指定Pulsar Broker的配置。以下是一个示例broker.conf文件:

zookeeperServers=zk1:2181,zk2:2181,zk3:2181configurationStoreServers=zk1:2181,zk2:2181,zk3:2181brokerServicePort=6650webServicePort=8080

在上面的配置中,zookeeperServersconfigurationStoreServers表示Pulsar Broker应该连接的ZooKeeper服务器的列表。brokerServicePort表示Pulsar Broker应该使用的端口,webServicePort表示Pulsar Web服务应该使用的端口。

在每个Pulsar节点上,您可以使用以下命令启动Pulsar Broker:

bin/pulsar broker

此命令将启动Pulsar Broker,并将其连接到ZooKeeper集群。

验证Pulsar集群 在完成Pulsar集群的部署之后,您可以使用以下命令验证Pulsar集群是否正常工作:

bin/pulsar-admin brokers list

此命令将列出Pulsar集群中所有可用的Broker节点。

您还可以使用以下命令创建一个主题并发布一些消息:

bin/pulsar-admin topics create my-topicbin/pulsar-client produce my-topic --messages "Hello, World!"

在这些命令中,pulsar-adminpulsar-client是Pulsar命令行工具。topics create命令用于创建一个新的主题,pulsar-client produce命令用于发布消息到指定的主题。

您可以使用以下命令消费发布的消息:

bin/pulsar-client consume my-topic

此命令将从my-topic主题消费已发布的消息。

标签:

pulsar集群部署

2023-03-31

通用技术中国医药三款产品中标第八批全国集采

2023-03-31

当前视点!钢研高纳:3月30日融资买入322.02万元,融资融券余额2.37亿元

2023-03-31

“鸽派”加息落地 贵金属价格持续拉升

2023-03-31

【深入开展“三个年”】县应急局:着力“五聚焦”为高质量发展涂上安全“底色” 全球消息

2023-03-31

每日头条!海底捞2022年营收347亿!“最牛打工妹”杨利娟接任后扭亏为盈赚了13亿

2023-03-31

沃森生物:公司的四价流脑多糖疫苗

2023-03-31

每日消息!叙利亚大马士革及周边地区遭到空袭

2023-03-31

环球观察:三年级上册古诗画_三年级上册古诗

2023-03-31

三大航2022年报均亏损,券商喊话:未来两年业绩将大幅反弹

2023-03-30

【全球聚看点】建发股份:2022年归属股东净利润62.82亿元

2023-03-30

武汉“双抗”大分子药物质量研究平台中部领先-每日焦点

2023-03-30

一度闪崩跌停!中兴通讯遭三机构净卖出3.08亿元_全球即时看

2023-03-30

东方金诚助力钱开投资“23钱开01”17亿元非公开公司债券成功发行

2023-03-30

今日快讯:2023华夏风光储产业创新大会暨风光储创新影响力榜单发布会成功举行|快讯

2023-03-30

今年半身裙为什么这么火?这组减龄又显瘦的搭配,看完你也会动心

2023-03-30

楼市乍暖还寒,这个大瓜又来了!-每日速递

2023-03-30

银杏树的叶子是什么颜色_银杏树的叶子图片 天天热点评

2023-03-30

王瑜瑜_关于王瑜瑜介绍-每日讯息

2023-03-30

黄金确定开始新一轮战略涨势 每日热点

2023-03-30

博鳌亚洲论坛探寻全球经济增长新动能_快讯

2023-03-30

周末假日寄宿学校,守护乡村留守儿童的课外时光

2023-03-30

新时代新征程新伟业·坚定不移推动高质量发展丨临沂沂水打造优势产业集群力争两年过千亿 每日时讯

2023-03-30

整治伪科普视频 还网络生态“清朗”蓝天 天天快看

2023-03-30

福州去厦门动车班次_福州到厦门动车组时刻表

2023-03-30

猫和老鼠传奇2008_猫和老鼠传奇2

2023-03-30

鸥玛软件与山东国家应用数学中心达成战略合作-今日观点

2023-03-29

性价比不错 2023款哈弗M6 PLUS到店

2023-03-29

美的置业(03990)拟收购无锡美亭房地产38%股权及更替贷款 热讯

2023-03-29

美国老夏在湖南丨“暗访”四方坪夜市,看灌汤生煎怎么吃 全球速读

2023-03-29

Copyright ©  2015-2023 港澳频道网版权所有  备案号:京ICP备2023022245号-31   联系邮箱:435 226 40 @qq.com