如果leader崩溃,Kafka怎样重新选举?

leader对于消息的写入以及读取是非常关键的,此时有两个疑问:

1. Kafka如何确定某个partition是leader、哪个partition是follower呢?

2. 某个leader崩溃了,如何快速确定另外一个leader呢?因为Kafka的吞吐量很高、延迟很低,所以选举leader必须非常快。

如果leader崩溃,Kafka会如何?

使用Kafka Eagle找到某个partition的leader,再找到leader所在的broker。在Linux中强制杀掉该Kafka的进程,然后观察leader的情况。

如果leader崩溃,Kafka怎样重新选举?

通过观察,我们发现,leader在崩溃后,Kafka又从其他的follower中快速选举出来了leader。

Controller介绍

l Kafka启动时,会在所有的broker中选择一个controller

l 前面leader和follower是针对partition,而controller是针对broker的

l 创建topic、或者添加分区、修改副本数量之类的管理任务都是由controller完成的

l Kafka分区leader的选举,也是由controller决定的

Controller的选举

l 在Kafka集群启动的时候,每个broker都会尝试去ZooKeeper上注册成为Controller(ZK临时节点)

l 但只有一个竞争成功,其他的broker会注册该节点的监视器

l 一点该临时节点状态发生变化,就可以进行相应的处理

l Controller也是高可用的,一旦某个broker崩溃,其他的broker会重新注册为Controller

找到当前Kafka集群的controller

1. 点击Kafka Tools的「Tools」菜单,找到「ZooKeeper Brower...」

2. 点击左侧树形结构的controller节点,就可以查看到哪个broker是controller了。

如果leader崩溃,Kafka怎样重新选举?

测试controller选举

通过kafka tools找到controller所在的broker对应的kafka进程,杀掉该进程,重新打开ZooKeeper brower,观察kafka是否能够选举出来新的Controller。

如果leader崩溃,Kafka怎样重新选举?

Controller选举partition leader

l 所有Partition的leader选举都由controller决定

l controller会将leader的改变直接通过RPC的方式通知需为此作出响应的Broker

l controller读取到当前分区的ISR,只要有一个Replica还幸存,就选择其中一个作为leader否则,则任意选这个一个Replica作为leader

l 如果该partition的所有Replica都已经宕机,则新的leader为-1

为什么不能通过ZK的方式来选举partition的leader?

l Kafka集群如果业务很多的情况下,会有很多的partition

l 假设某个broker宕机,就会出现很多的partiton都需要重新选举leader

l 如果使用zookeeper选举leader,会给zookeeper带来巨大的压力。所以,kafka中leader的选举不能使用ZK来实现。

文章来源于:王晴儿网页设计博客 欢迎分享交流,转载请注明出处

本文来自投稿,不代表重蔚自留地立场,如若转载,请注明出处https://www.cwhello.com/262281.html

如有侵犯您的合法权益请发邮件951076433@qq.com联系删除

(0)
黑马程序员黑马程序员订阅用户
上一篇 2023年5月6日 23:41
下一篇 2023年5月6日 23:42

相关推荐

  • 今日分享docker安装kafka怎么使用。

    安装和使用Docker中的Kafka可以按照以下步骤进行: (图片来源网络,侵删) 1. 安装Docker 确保你的计算机上已经安装了Docker,如果没有安装,请参考官方文档进行安装:https://docs.docker.com/getdocker/ 2. 拉取…

    2024年6月27日
    00
  • 小编分享kafka可扩展性是怎么实现的。

    Kafka的可扩展性主要是通过增加Broker节点来实现的,即向现有Kafka集群中添加新的Broker节点,从而分摊集群的负载,实现水平扩容。 Kafka简介 Kafka是一个分布式流处理平台,由Apache软件基金会开发,它具有高吞吐…

    2024年7月6日
    00
  • PHP入门指南:PHP和Kafka。

    PHP入门指南:PHP和Kafka随着互联网应用的迅猛发展,实时数据处理已经成为了各大公司必不可少的技术。Kafka是一种高性能、分布式的消息系统,被广泛地应用于实时数据流处理领域。而PHP,作为一个流行的服务器端脚本…

    2023年5月28日
    01
  • Kafka Consumer使用要注意什么。

    Kafka Consumer是Apache Kafka中用于消费消息的组件,在使用Kafka Consumer时,需要注意以下几个方面: 1. 消费者组和分区分配:在创建Kafka Consumer实例时,需要指定所属的消费者组,同一个消费者组内的消费者会…

    2024年6月13日
    00
  • kafka怎么实现数据一致性。

    Kafka保证数据一致性的方式主要包括以下几点:从生产者发送消息到broker,以及主题分区副本和leader选举等环节确保数据的可靠性。Kafka采用了至少一次的消息传递机制,即消息至少会被传递一次给消费者。在生产者写…

    2024年7月7日
    00
  • 分享kafka low level consumer。

    Kafka是一个分布式流处理平台,它提供了高吞吐量、低延迟和可扩展性的特性,在Kafka中,消费者可以通过两种方式来消费消息:一种是使用高级API,另一种是使用低级API,本文将介绍如何使用Kafka的low-level consumer…

    2024年6月13日
    00
  • 今日分享docker安装kafka重启失败怎么解决。

    解决Docker安装Kafka重启失败的问题,可以按照以下步骤进行排查和解决: (图片来源网络,侵删) 1. 确认错误信息 需要查看Docker容器的日志,以获取更详细的错误信息,可以使用以下命令查看Kafka容器的日志: dock…

    2024年6月27日
    00
  • 关于docker安装kafka的步骤是什么。

    Docker安装Kafka的步骤 (图片来源网络,侵删) 准备工作 在开始之前,请确保您已经安装了Docker,如果没有,请访问Docker官网下载并安装适合您操作系统的Docker版本。 1. 拉取Kafka镜像 我们需要从Docker Hub拉取K…

    2024年6月27日
    00

联系我们

QQ:951076433

在线咨询:点击这里给我发消息邮件:951076433@qq.com工作时间:周一至周五,9:30-18:30,节假日休息