微博怎么注册 微博是干什么用的( 四 )




上述问题的核心原因在于 KoP Broker 属于无状态服务,一致性无法得到很好的保障,所以需要引入一个基于 MetadataStore 的元数据事件处理器,对应的是 Pulsar ZooKeeper 。Broker 上线时会触发 Listener 事件,其他 broker 会监听该事件并处理元数据变更 。删除 topic 时会触发 topic 删除事件,其他 broker 会响应事件,coordinator 会将对应的元数据信息移除,解决残留问题 。
总结
本文介绍了新浪微博通过使用 KoP 落地 Pulsar 来解决大规模 Kafka 集群运维的痛点 。新浪微博在 KoP 支持 Kafka 0.9 与 0.10 版本客户端,并引入元数据事件管理器解决版本兼容与日志协议兼容的问题 。作为 KoP Maintainer,截至目前,沈文兵已给 KoP 提交 42 个 PR,合并 36 个 。未来他会继续参与 KoP 的维护和开发工作 。
目前 KoP 功能日趋完善,Kafka 的大部分功能都已经在 KoP 中得到实现 。如果大家在工作中面对 Kafka 运维的痛点,非常推荐大家通过 KoP 组件搭建解决方案 。
作者简介:
【微博怎么注册 微博是干什么用的】沈文兵,新浪微博数据平台研发工程师,主要负责 Kafka 和 Pulsar 的运维研发工作 。开源项目爱好者,Apache Pulsar/BookKeeper/Kafka Contributor , KoP(Kafka-on-Pulsar)Maintainer 。

推荐阅读