江苏龙网

  1. 首页 > 生活 > >

Kafka manager, Burrow等几款Kafka Monitor的流行程度咋样

谢邀
就我所知的这一小范围内使用Kafka manager的似乎比较多。不过我索性把我了解的都说说吧~~

Kafka manager
这款监控框架的好处在于监控内容相对丰富，既能够实现broker级常见的JMX监控(比如出入站流量监控)，也能对consumer消费进度进行监控(比如lag等)。另外用户还能在页面上直接对集群进行管理，比如分区重分配或创建topic——当然这是一把双刃剑，好在kafka manager自己提供了只读机制，允许用户禁掉这些管理功能。

Kafka Monitor
我假定你指的是这款吧：https://github.com/linkedin/kafka-monitor。 这款监控框架更多的是关注对Kafka集群做端到端的整体系统测试，并产出各种系统级的监控指标，比如端到端的延时，整体消息丢失率等。对于新搭建的Kafka线上集群，使用Kafka Monitor做个整体测试有助于你了解该集群整体的一些性能，但若是用于日常监控该框架便有些不便了，需要自己修改webapp/index.html中的监控指标，流程上有些不太友好。不过这款框架的优势是其主要贡献者是LinkedIn的lindong(Kafka 1.0.0版本中正式支持JBOD就是lindong主力开发的)，质量上是有保证的

Kafka Offset Monitor
KafkaOffsetMonitor应该算比较早的监控框架了，有着很酷的UI，使用者也是很多。但其比较大的劣势是对新版本consumer和security的支持，另外该项目已经近2年未维护了，其主力开发甚至是另起炉灶，重新写了一个新的KafkaOffsetMonitor来支持新版本consumer——https://github.com/Morningstar/kafka-offset-monitor。不过目前该项目star数很少，应该没有大规模应用，到底是否适用于生产环境需要用户自行判断

【Kafka manager, Burrow等几款Kafka Monitor的流行程度咋样】 Burrow
Burrow是LinkedIn开源的一款专门监控consumer lag的框架。事实上，当初其开源时我对它还是期待挺高的，不过令人遗憾地是后劲不足，发展得非常缓慢，而且这款框架是用Go写的，安装时要求必须有Go运行环境，故Burrow在普及上不如其他框架。Burrow没有UI界面，只开放了很多HTTP endpoint，这对于想偷懒的运维来说更是一个减分项。总之它的功能目前十分有限，普及率和知名度都是比较低的。不过好处是该项目主要贡献者是LinkedIn团队维护Kafka集群的主要负责人，故质量上是很有保证的

JMXTrans + InfluxDB + Grafana
如果你监控Kafka是为了酷炫和让领导看，那么我推荐你这套组合。这套组合完全监控Kafka的JMX指标，其最大的优势是UI酷炫，适合于向领导展示:) 具体搭建方法网上有很多教程，可以参考下。这里就不再赘述了。

总之，目前Kafka的监控并没有“放之四海而皆准”的解决方案，应该说每种框架都有自己独到的地方。用户需要结合自身监控需求选择适合的监控框架~

■网友


谢邀，我就回答我目前用过的几款吧

首先是Kafka Manager，是我目前用的最多的，有简单易懂的ui，可以代替部分脚本，可以看到某些jmx数据，主要是流量。还有offset的监控，与新旧consumer的lag。另外就是topic的管理功能了，可以查看partition的分配，可以手动生成分配的配置，然后reassign，还有修改topic的一些配置，如rentention.ms这种，但是增加replication fator做不到，管理topic UI差不多是这样的Kafka manager, Burrow等几款Kafka Monitor的流行程度咋样

目前我自己做了一些修改，能够管理和查询acl
Kafka manager, Burrow等几款Kafka Monitor的流行程度咋样

Kafka manager, Burrow等几款Kafka Monitor的流行程度咋样


推荐阅读


上一篇：学习哪些知识技能可以让我们的生活过得更好

下一篇：在学Java，今后想成为一个独立开发者，想问这样有发展性可言吗