##Kafka集群在马蜂窝大数据平台的优化与应用扩展( 四 )
文章图片
文章图片 
文章图片
文章图片 
文章图片
文章图片 
文章图片
文章图片 
文章图片
文章图片 
文章图片
文章图片
4）应用扩展
①实时数据订阅平台
实时数据订阅平台是一个提供 Kafka 使用全流程管理的系统应用 ， 以工单审批的方式将数据生产和消费申请、平台用户授权、使用方监控告警等众多环节流程化自动化, 并提供统一管控 。
核心思想是基于 Kafka 数据源的身份认证和权限控制 ， 增加数据安全性的同时对 Kafka 下游应用进行管理 。
②标准化的申请流程
无论生产者还是消费者的需求 ， 使用方首先会以工单的方式提出订阅申请 。申请信息包括业务线、Topic、订阅方式等信息；工单最终会流转到平台等待审批；如果审批通过 ， 使用方会分配到授权账号及 Broker 地址 。至此 ， 使用方就可以进行正常的生产消费了 。
文章图片
文章图片 
文章图片
文章图片
③监控告警
对于平台来说 ， 权限与资源是绑定的 ， 资源可以是用于生产的 Topic 或消费使用的 GroupTopic 。一旦权限分配后 ， 对于该部分资源的使用就会自动在我们的雷达监控系统进行注册 ， 用于资源整个生命的周期的监控 。
④数据重播
出于对数据完整性和准确性的考量 ， 目前 Lamda 架构已经是大数据的一种常用架构方式 。但从另一方面来说 ，Lamda 架构也存在资源的过多使用和开发难度高等问题 。
实时订阅平台可以为消费组提供任意位点的重置 ， 支持对实时数据按时间、位点等多种方式的数据重播, 并提供对 Kappa 架构场景的支持 ， 来解决以上痛点 。
文章图片
文章图片
⑤主题管理
为什么提供主题管理？举一些很简单的例子 ， 比如当我们想让一个用户在集群上创建他自己的 Kafka Topic ， 这时显然是不希望让他直接到一个节点上操作的 。因此刚才所讲的服务 ， 不管是对用户来讲 ， 还是管理员来讲 ， 我们都需要有一个界面操作它 ， 因为不可能所有人都通过 SSH 去连服务器 。
因此需要一个提供管理功能的服务 ， 创建统一的入口并引入主题管理的服务 ， 包括主题的创建、资源隔离指定、主题元数据管理等 。
文章图片
文章图片
⑥数据分流
推荐阅读
- 「青岛」四大影视产业平台正式落户！青岛西海岸新区打造5G高新视频产业集群高地
- [直播]闭馆70天热度不减，故宫直播首秀上线马蜂窝
- 旅游@清明假期4325.4万人次出游 马蜂窝显示周边短途自驾游占主流
- 「游客」马蜂窝大数据：“小长假plus”来袭，户外景点热度高
- 「马蜂窝」马蜂窝等OTA平台实录：一边在线“劝退” 一边直播“种草”
- 「无人驾驶」科亚智能无人驾驶方向盘舵机一体机入选省工信厅“现代优势产业集群+人工智能”试点示范项目
- 【景区】马蜂窝旅游：周边自驾游需求预计会显著增长
- 「直播」马蜂窝直播国宝大熊猫，“云卖萌”就是生产力
- 『武汉』马蜂窝直播武汉开城，带你看东湖樱花和街头烟火气
- 『北京日报客户端』免费注册地址＋工位，40余家企业海淀创业园集群注册