公司来了位阿里P8大神，看完他的手写“Kafka笔记”，万分膜拜
kafka的外在表现很像消息系统 ， 允许发布和订阅消息流 ， 但是它和传统的消息系统有很大的差异：
首先 ， kafka是个现代分布式系统 ， 以集群的方式运行 ， 可以自由伸缩其次 ， kafka可以按照要求存储数据 ， 保存多久都可以第三 ， 流式处理将数据处理的层次提示到了新高度 ， 消息系统只会传递数据 。 kafka的流式处理能力可以让我们用很少的代码就能动态的处理派生流和数据集 。 所以 ， kafka不仅仅是个消息中间件kafka不仅仅是个消息中间件 ， 同时它是个流平台 ， 这个平台上可以发布和订阅数据流（kafka的流 ， 有一个单独的包stream的处理） ， 并把它们保存起来 ， 进行处理 ， 这个就是kafka作者的设计理念 。
不装了大神了 ， 上面说的这些都是这位大牛的手写kafka笔记里的 ， 看完之后万分膜拜 ， 所以今天小编也想分享出来给大伙瞧瞧 ， 话不多说 ， 上目录（内容有点多 ， 先来看下 ， 大概了解一下） 。
注意：如果需要这份下载完整的手写笔记可直接来转发一下+私信我关键词“kafka” ， 立即回复分享免费下载的方式！
文章图片
手写“Kafka笔记”
01kafka入门1.1什么是kafka
1.2kafka中的基本概念
1.2.1消息和批次1.2.2主题和分区1.2.3生产者和消费者、偏移量、消费者群组1.2.4Broker和集群1.2.5保留消息
文章图片
文章图片
部分内容
02为什么选择kafka2.1优点
2.2常见场景
2.2.1活动跟踪2.2.2传递消息2.2.3收集指标和日志2.2.4提交日志2.2.5流处理
文章图片
部分内容
03kafka的安装、管理和配置3.1安装
3.1.1预备环境3.1.2下载和安装kafka3.1.3运行3.1.4kafka基本的操作和管理3.2Broker配置
3.3硬件配置对kafka性能的影响
3.3.1磁盘吞吐量/磁盘容量3.3.2内存3.3.3网络3.3.4CPU3.3.5总结
文章图片
部分内容
文章图片
部分内容
04kafka的集群4.1为何需要kafka集群
4.2如何估算kafka集群中Broker的数量
4.3Broker如何加入kafka集群
文章图片
部分内容
05第一个kafka程序5.1创建我们的主题
5.2生产者发送消息
5.2.1必选属性（bootstrap.servers、key.serializer、value.serializer）5.3消费者接受消息
5.3.1必选参数（group.id）5.4演示示例
文章图片
部分内容
06kafka的生产者6.1生产者发送消息的基本流程
6.2使用kafka生产者
6.2.1三种发送方式（发送并忘记、同步发送、异步发送）6.2.2多线程下的生产者6.2.3更多发送配置（acks、buffer.mempry、max.block.ms、retries、batch.size、linger.ms、compression.type、client.id、、、顺序保证）6.3序列化
6.3.1自定义序列化需要考虑的问题6.4分区
6.4.1自定义分区器
文章图片
部分内容
07kafka的消费者7.1消费者的入门
7.1.1消费者群组7.1.2消费者配置7.2消费者中的基础概念
7.2.1消费者群组7.2.2订阅7.2.3轮询7.2.4提交和偏移量7.3消费者中的核心概念
7.4kafka中的消费安全
7.5消费者提交偏移量导致的问题
7.5.1自动提交7.5.2手动提交（同步）7.5.3异步提交7.5.4同步和异步组合7.5.5特定提交7.6分区再均衡
7.7优雅1退出
7.8反序列化
7.9独立消费者
文章图片
部分内容
文章图片
部分内容
08深入理解kafka8.1集群的成员关系
8.2什么是控制器
8.3复制-kafka的核心
8.3.1replication-factor8.3.2副本类型8.3.3工作机制8.4处理请求的内部机制
8.4.1生产请求8.4.2获取请求8.4.3ISR8.5物理存储机制
8.5.1分区分配8.5.2文件管理8.5.3文件格式8.5.4索引8.5.5超时数据的清理机制
文章图片
部分内容
文章图片
部分内容
09可靠的数据传递9.1kafka提供的可靠性保证和架构上的权衡
9.2复制
9.3Broker配置对可靠性的影响
9.3.1复制系数9.3.2不完全的首领选举9.3.3最少同步副本9.4可靠系统里的生产者
9.4.1发送确认9.4.2配置生产者的重试参数9.4.3额外的错误处理9.5可靠系统里的消费者
9.5.1消费者的可靠性配置9.5.2显式提交偏移量
文章图片
部分内容
10kafka和Spring的整合10.1与Spring集成
10.1.1pom文件10.1.2统一配置10.1.3生产者端10.1.4消费者端
文章图片
部分内容
11SpringBoot和kafka的整合
文章图片
部分内容
12kafka实战之削峰填谷13数据管道和流式处理（了解即可）13.1数据管道基本概念
13.2流式处理基本概念
文章图片
部分内容
上面都是在说大牛的手写“Kafka笔记” ， 下面来谈谈kafka面试关于kafka面试这一块 ， 前阵子有收集一份面试真题（从基础[17]-进阶[15]-高阶[12] ， 总共44道题）
1.Kafka的用途有哪些？使用场景如何？
2.Kafka中的ISR、AR又代表什么？ISR的伸缩又指什么
3.Kafka中的HW、LEO、LSO、LW等分别代表什么？
4.Kafka中是怎么体现消息顺序性的？
5.Kafka中的分区器、序列化器、拦截器是否了解？它们之间的处理顺序是什么？
6.Kafka生产者客户端的整体结构是什么样子的？
7.Kafka生产者客户端中使用了几个线程来处理？分别是什么？
8.Kafka的旧版Scala的消费者客户端的设计有什么缺陷？
9.“消费组中的消费者个数如果超过topic的分区 ， 那么就会有消费者消费不到数据”这句话是否正确？如果正确 ， 那么有没有什么hack的手段？
10.有哪些情形会造成重复消费？
11.哪些情景下会造成消息漏消费？
12.KafkaConsumer是非线程安全的 ， 那么怎么样实现多线程消费？
13.简述消费者与消费组之间的关系
14.当你使用kafka-topics.sh创建（删除）了一个topic之后 ， Kafka背后会执行什么逻辑？
15.topic的分区数可不可以增加？如果可以怎么增加？如果不可以 ， 那又是为什么？
16.topic的分区数可不可以减少？如果可以怎么减少？如果不可以 ， 那又是为什么？
17.创建topic时如何选择合适的分区数？
1.Kafka目前有哪些内部topic ， 它们都有什么特征？各自的作用又是什么？
2.优先副本是什么？它有什么特殊的作用？
3.Kafka有哪几处地方有分区分配的概念？简述大致的过程及原理
4.简述Kafka的日志目录结构
5.Kafka中有哪些索引文件？
6.如果我指定了一个offset ， Kafka怎么查找到对应的消息？
7.如果我指定了一个timestamp ， Kafka怎么查找到对应的消息？
8.聊一聊你对Kafka的LogRetention的理解
9.聊一聊你对Kafka的LogCompaction的理解
10.聊一聊你对Kafka底层存储的理解
11.聊一聊Kafka的延时操作的原理
12聊一聊Kafka控制器的作用
13.Kafka的旧版Scala的消费者客户端的设计有什么缺陷？
14.消费再均衡的原理是什么？（提示：消费者协调器和消费组协调器）
15.Kafka中的幂等是怎么实现的？
1.Kafka中的事务是怎么实现的？
2.失效副本是指什么？有哪些应对措施？
3.多副本下 ， 各个副本中的HW和LEO的演变过程
4.Kafka在可靠性方面做了哪些改进？（HW,LeaderEpoch）
5.为什么Kafka不支持读写分离？
6.Kafka中的延迟队列怎么实现
7.Kafka中怎么实现死信队列和重试队列？
8.Kafka中怎么做消息审计？
9.Kafka中怎么做消息轨迹？
10.怎么计算Lag？(注意read_uncommitted和read_committed状态下的不同)
11.Kafka有哪些指标需要着重关注？
12.Kafka的哪些设计让它有如此高的性能？
答案在这里啦！！整理起来好多呀 ， 有30页....
文章图片
kafka面试答案
【公司来了位阿里P8大神，看完他的手写“Kafka笔记”，万分膜拜】关于kafka ， 今天就撩骚到这儿啦 ， 有关上面的大牛手写“Kafka笔记”（PDF）以及面试进阶（word）都可直接来小编这里领取 ， 麻烦各位转发一下 ， 私信我关键词“kafka”即可回复！
推荐阅读
- 王者荣耀：软辅不想被嫌弃？除了不能3级辅助装以外，还有这四点
- SUV|美国再拉黑38家华为子公司！升级打压华为获取商用芯片
- 里卡多·高拉特|高拉特秒变全能战士！华夏幸福有他会赢球了，泰达要玩死阿奇姆彭
- 未来的大学生活“长啥样”？ 来看学长为你写下的万字指南
- 吃鸡将迎来寻宝玩法？新地图遍地宝藏，“古老秘密”开启冒险
- “光盘打卡”小程序火了 激励年轻人节约粮食
- 反伤刺甲将调整，然后新出了一件魔抗装备，这两都完美适合赵云！
- 警告!|美国死亡谷气温飙升至54.4℃或打破百年来世界最高温纪录
- 多所在京大学录取线来了 各校设置多条投档线
- 科学探索|诺斯罗普·格鲁曼公司再次发射为卫星提供“续命”服务的航天器