Kafka
计算机知识思维导图:Kafka。网页展示前三层结构,可在线查看完整脑图并下载 GoMind 文件。
2026-08-25
## Kafka ### Kafka #### 特性 ##### 高吞吐、低延时 ##### 伸缩性 ##### 高可用 #### 消息 ##### 消息格式 ##### topic ##### partition ##### offset ##### replica ##### ISR (in-sync replica) ##### 运行Java的操作系统通常默认开启页缓存机制,即堆上保存的对象很有可能在页缓存中还保留一份,这就造成了资源浪费。kafka特意避开了Java堆上内存分配,直接使用紧凑二进制字节数组ByteBuffer而不是独立对象 > 仅展示前三层结构;请在线查看完整脑图或下载 GoMind 文件。
Kafka
Kafka
大量使用操作系统页缓存,速度快,命中率高
以追加的方式写文件,将随机写改为顺序写
使用sendfile系统调用,实现数据零拷贝
高吞吐、低延时
伸缩性
负载均衡与故障转移
高可用
特性
V0
CRC(4byte)
版本号(1b)
高五位保留
0 无压缩
1 GZIP
2 Snappy
3 LZ4
低三位用于保存压缩类型
属性(1b)
时间戳(8b)
key长度(4b)
key
value长度(4b)
value
V1
V2
消息格式
topic
partition
offset
leader replica
follower replica
不响应客户端发来的写入及消费请求,只与leader保存同步,只有leader replica宕机后才会被选举为新的leader replica
replica
ISR至少存在一个活着的replica
只有ISR集合中的所有replica都接收到了同一条信息,Kafka才会将消息置于已提交状态
ISR (in-sync replica)
与leader保持同步的replica集合
运行Java的操作系统通常默认开启页缓存机制,即堆上保存的对象很有可能在页缓存中还保留一份,这就造成了资源浪费。kafka特意避开了Java堆上内存分配,直接使用紧凑二进制字节数组ByteBuffer而不是独立对象
消息