上述问题的核心原因在于 KoP Broker 属于无状态服务,一致性无法得到很好的保障,所以需要引入一个基于 MetadataStore 的元数据事件处理器,对应的是 Pulsar ZooKeeper 。Broker 上线时会触发 Listener 事件,其他 broker 会监听该事件并处理元数据变更 。删除 topic 时会触发 topic 删除事件,其他 broker 会响应事件,coordinator 会将对应的元数据信息移除,解决残留问题 。
总结
本文介绍了新浪微博通过使用 KoP 落地 Pulsar 来解决大规模 Kafka 集群运维的痛点 。新浪微博在 KoP 支持 Kafka 0.9 与 0.10 版本客户端,并引入元数据事件管理器解决版本兼容与日志协议兼容的问题 。作为 KoP Maintainer,截至目前,沈文兵已给 KoP 提交 42 个 PR,合并 36 个 。未来他会继续参与 KoP 的维护和开发工作 。
目前 KoP 功能日趋完善,Kafka 的大部分功能都已经在 KoP 中得到实现 。如果大家在工作中面对 Kafka 运维的痛点,非常推荐大家通过 KoP 组件搭建解决方案 。
作者简介:
【微博怎么注册 微博是干什么用的】沈文兵,新浪微博数据平台研发工程师,主要负责 Kafka 和 Pulsar 的运维研发工作 。开源项目爱好者,Apache Pulsar/BookKeeper/Kafka Contributor , KoP(Kafka-on-Pulsar)Maintainer 。
推荐阅读
- 快手怎么查看快手号 快手怎么查看快手号状态
- 名爵zs雨刷怎么抬起来 名爵zs的雨刷怎么竖起来
- 《银行家》杂志社怎么样 银行家杂志是什么期刊
- word受保护的视图如何解除 word受保护的视图怎么解除
- 电脑开机慢运行卡怎么解决 电脑开机慢运行卡解决方法
- 龙须树叶子发黄干枯怎么处理 龙须树叶子发黄干枯怎么样处理
- 小土狗怎么养 小土狗如何养
- 微信对方拒收消息怎么解决 是怎么回事?
- 电脑qq怎么同步聊天记录 qq怎么同步聊天记录
- html怎么设置背景图片 html怎么设置背景图片大小