kafka不会对每个消息都做压缩 , 而是对一批消息压缩 , 然后将数据统一发送 。 将所有的消息变为一个批量文件 , 然后直接丢给消费者 。
综上所述 , kafka通过MMFile技术快速将数据顺序写入磁盘 , 在读取时通过零拷贝技术快速读取 , 然后通过批量数据压缩将数据传输到消费者 。 这就是kafka快的秘诀 。 然而鱼与熊掌不可兼得 , 速度和可靠性不可能同时满足 , 需要根据实际业务情况在二者之间作出取舍 。 例如当用kafka做日志聚合和网站用户行为分析时速度要比可靠性重要 , 而在某些消息不允许丢失的场景 , 可靠性可能是首选 。
推荐阅读
-
-
-
龙猫|郭晶晶印花外套搭配撞色半身裙现身流动,大背头气场十足
-
COPSPOWER▲碰上这三款车,才能显示自己的财富,内行人:奔驰和宝马不算啥
-
毛阿敏|当红时期胜过毛阿敏、韦唯,如今沦为钟点工,实力老牌歌手为何沦落至无人问津?
-
-
-
刘诗诗@刘诗诗再现气质穿搭,一身白裙精致典雅又高级,优美天鹅颈好惹眼
-
青年|王者荣耀:换下队服闪耀出运动少年的风采,KPL选手生活写真出炉。
-
S10全球总决赛|英雄联盟S10总决赛开打,一张“宁王回应riot”图片不胫而走,太真实
-
-
-
-
-
伸了半根中指进去...流血了...不痛,经期第四天,处女膜破了吗
-
小叶紫檀@和田玉可以辟邪报平安吗?没那么神奇,但是这3点却是真的
-
雍正|两江总督顿顿吃白菜叶,雍正听说后大怒:满门抄斩!原因十分合理
-
-
-
手机欠费3月上征信,是谁在让公器沦为中国电信的谋利工具?