21-Kafka数据可靠性保证原理之ISR机制讲解

什么是ISR (in-sync replica set )

• leader会维持一个与其保持同步的replica集合，该集合就是ISR，每一个leader partition都有一个ISR，leader动态维护, 要保证kafka不丢失message，就要保证ISR这组集合存活（至少有一个存活），并且消息commit成功
• Partition leader 保持同步的 Partition Follower 集合, 当 ISR 中的Partition Follower 完成数据的同步之后，就会给 leader 发送 ack
• 如果Partition follower长时间(replica.lag.time.max.ms) 未向leader同步数据，则该Partition Follower将被踢出ISR
• Partition Leader 发生故障之后，就会从 ISR 中选举新的 Partition Leader

OSR （out-of-sync-replica set）

• 与leader副本分区 同步滞后过多的副本集合

AR（Assign Replicas）

• 分区中所有副本统称为AR