深入理解 Kafka 生产者:缓冲机制、双线程模型与调优实践

适用场景:生产者 send() 偶发阻塞或抛 TimeoutException、缓冲区占用持续走高,需要定位瓶颈并调优 Producer 配置。 前置知识:Kafka 基本概念(topic / partition / broker / ACK)、生产者-消费者模型、Java 线程安全基础。 版本口径:本文默认值按 kafka-clients 3.x。 一、为什么生产者需要缓冲区 消息在 send() 之后去了哪里?为什么缓冲区会满、线程会阻塞?本文从双线程模型出发,逐层拆解 Kafka Producer 的缓冲、批量与背压机制。 Kafka 生产者并不会在代码调用 send() 时立刻把消息发到网络,而是先将消息放入一块内存缓冲区,攒够一批再发。这是批量(batching)的核心思想。 为什么要这样做?核心原因是网络 I/O 的成本。如果每条消息都单独发一次网络请求,开销巨大;如果把多条消息攒成一批,用一次请求发送,网络效率大幅提升。 类比理解:去邮局寄 1000 封信,每写好一封就单独发一辆车(1000 次发车),远不如把信攒够一车再发车(1 次发车)。Kafka 生产者选择的是后者。 但批量设计引入了一个关键问题:缓冲区大小有限。如果放入速度持续快于取出速度,缓冲区迟早会被填满。填满之后,新的 send() 调用会阻塞,直到缓冲区有空间——或者超时报错。理解这个问题,需要深入生产者的内部架构。 二、双线程模型 Kafka 生产者内部有两条并行的工作线:调用线程和 Sender 线程。 下图展示了完整的双线程架构。上半部分是调用线程的流水线,下半部分是 Sender 后台线程的数据通路,中间的 RecordAccumulator 是两者共享的缓冲桥梁。注意上半部分画的是多个调用线程——它们可以共享同一个 KafkaProducer 实例(详见本节末尾): 调用线程(calling thread) 调用线程就是你的应用代码所在的线程(下称"调用线程")。当调用 producer.send(record) 时,消息依次经过以下流水线(上图省略了序列化之前的 metadata 等待,阻塞点见第六节): Interceptors(拦截器):可对消息做修改或过滤,大多数场景不使用 等待 metadata:waitOnMetadata() 在序列化之前拿到 topic 的分区与 leader 信息,这一步计入 max.block.ms Serializer(序列化器):将业务对象序列化为字节数组 Partitioner(分区器):决定消息发往哪个 partition RecordAccumulator(缓冲区):将消息追加到对应 partition 的批次中 append 成功后 send() 返回 Future;若等 metadata 或分配 buffer,仍可能阻塞至 max.block.ms。 ...

2026-10-11 · 陈曦

CPU 100% 故障定位指导手册

适用场景: 告警系统上报 CPU 使用率超过阈值, 需逐层定位至代码行级 前置知识: Linux 进程/线程模型, CPU 时间片调度, JVM 线程模型 一、为什么需要四层诊断模型 1.1 理论依据: 故障定位的"层级原则" 一个 CPU 告警可能由多个层面的问题引起, 每一层需要不同的工具来观测: 系统层 (kernel) → /proc/stat, vmstat — 看调度队列和 CPU 时间分配 进程层 (process) → top, /proc/<pid>/stat — 看进程级别的 CPU 消耗 线程层 (thread) → top -H, /proc/<pid>/task — 看线程级别的 CPU 消耗 代码层 (code) → jstack, perf, Arthas — 看具体的执行方法/指令 选择依据: 每一层只看上一层无法提供的信息。系统层告诉你"CPU 在忙", 但不告诉你是谁; 进程层告诉你"是 PID 172 在忙", 但如果你直接跳到代码层(比如盲目 jstack), 你拿到 30 个线程的栈, 却不知道该看哪一个——这就是为什么需要线程层: 先找到具体的线程 TID, 再精准定位。 ...

2026-06-13 · 陈曦

在Java中写一个正确的单例模式

本文参考极客时间每日一课《在Java中如何写一个正确的单例模式?》 1. 单例/单例设计模式 一个类只允许创建一个对象(实例),这个类就是一个单例类。这种设计模式叫做单例设计模式,简称单例模式。 实现一个单例类,需要关注: 构造函数私有,避免通过new关键字创建实例 创建时的线程安全问题 是否支持延迟加载 getInstance是否高性能(锁) 2. 单例模式的写法 2.1. 饿汉式 public class Singleton { private static final Singleton INSTANCE = new Singleton(); private Singleton() { } public static Singleton getInstance() { return INSTANCE; } } public class Singleton { private static Singleton instance; static { instance = new Singleton(); } private Singleton() {} public static Singleton getInstance() { return instance; } } 类加载时,静态实例就已经创建好并初始化好了。 ...

2021-11-19 · 陈曦

GC日志解读

为深入学习GC(Garbage Collection,垃圾回收),本文将使用一段测试代码来测试不同的GC策略下的执行情况,并对输出的GC日志做简要分析。 1. 测试环境 1.1. 操作系统及jdk版本 ➜ 01jvm git:(main) ✗ java -version java version "1.8.0_131" Java(TM) SE Runtime Environment (build 1.8.0_131-b11) Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode) 1.2. 测试代码 测试代码来源: https://github.com/JavaCourse00/JavaCourseCodes/blob/main/01jvm/GCLogAnalysis.java import java.util.Random; import java.util.concurrent.TimeUnit; import java.util.concurrent.atomic.LongAdder; /* 演示GC日志生成与解读 */ public class GCLogAnalysis { private static Random random = new Random(); public static void main(String[] args) { // 当前毫秒时间戳 long startMillis = System.currentTimeMillis(); // 持续运行毫秒数; 可根据需要进行修改 long timeoutMillis = TimeUnit.SECONDS.toMillis(1); // 结束时间戳 long endMillis = startMillis + timeoutMillis; LongAdder counter = new LongAdder(); System.out.println("正在执行..."); // 缓存一部分对象; 进入老年代 int cacheSize = 2000; Object[] cachedGarbage = new Object[cacheSize]; // 在此时间范围内,持续循环 while (System.currentTimeMillis() < endMillis) { // 生成垃圾对象 Object garbage = generateGarbage(100*1024); counter.increment(); int randomIndex = random.nextInt(2 * cacheSize); if (randomIndex < cacheSize) { cachedGarbage[randomIndex] = garbage; } } System.out.println("执行结束!共生成对象次数:" + counter.longValue()); } // 生成对象 private static Object generateGarbage(int max) { int randomSize = random.nextInt(max); int type = randomSize % 4; Object result = null; switch (type) { case 0: result = new int[randomSize]; break; case 1: result = new byte[randomSize]; break; case 2: result = new double[randomSize]; break; default: StringBuilder builder = new StringBuilder(); String randomString = "randomString-Anything"; while (builder.length() < randomSize) { builder.append(randomString); builder.append(max); builder.append(randomSize); } result = builder.toString(); break; } return result; } } 编译测试代码 ...

2021-06-05 · 陈曦