什么是瞬态集群？解读火山引擎EMR Stateless 的创新理念以及应用( 二 ) _瞬态集群

2.Stateless 瞬态集群，瞬态怎么理解？
关于这个问题，更深层次的一个点就是瞬态，达到怎样一种时间粒度才叫瞬态？
首先，我们来对比一下瞬态集群和普通的云上 EMR 集群。普通 EMR 集群是长时间部署的，可能会部署一周两周，甚至一个月两个月的时间。而瞬态集群是当有任务到来时，我们为这些任务创建一个集群，任务运行完就把集群释放掉。
同样的，在第二次创建的时候，就可以直接进行一个类似复制的操作，集群的配置和规格和之前都是一致的。对用户来讲，做到这个程度是没有任何代价的。用户只需要去定义这个集群，Stateless 就能按需创建出这样的一个瞬态集群，并且这个瞬态集群的时间粒度是分钟级的，无需考虑间隔得太久会发生什么错误。
3.Stateless 它适合哪些业务场景？
基于我们的实践场景来谈，首先它适合需要存算分离的用户，并且更适合离线跑批的场景。计算量比较大，并且具有明显的潮汐性质特征时，在节约成本上面的体现是非常明显的。
4.Stateless是否需要用户改变使用习惯？
在用户使用方面，并不需要对流程进行改变。Stateless只是在云原生管控层面进行了优化，并且是在无状态服务剥离层面的优化。对于用户接口，无论是开源的 web UI还是开源引擎的对外接口，任务提交流程无任何变化，这些完全都是开源兼容的，大家可以一直享受开源社区版本迭代所带来的技术红利。
Stateless 大数据体系
了解完以上内容，大家应该对 Stateless 有一个初步的认识了，接下来再给大家介绍该体系是怎么实现的。

文章插图
首先，在 Stateless 的架构体系里，用户集群包含了离线分析（Hadoop 体系）、实时计算（ Flink 体系）、交互式分析、 NoSQL 数据库以及机器学习等相关内容。这个是带有计算特性的集群中，所有带有状态部分的内容都被剥离了。Stateless把 History Serverhe 和 UI 相关的内容都剥离成为独立服务，包含 Spark History Server，Presto History Server，YARN Timeline Server 等。不管集群是否存在，这些服务都在。
其次，通过 Open API 做了统一的调度和开发封装。同时将 EMR Studio服务化（ EMR Studio可以理解成类似于 Oozie、Airflow、 DolphinScheduler 等的调度引擎）。用户可以在火山引擎 EMR 上面直接使用这些服务，而不需要通过提交机器来部署。
依托于火山引擎丰富的云上生态，Stateless 还可以无缝对接数据研发类产品。除此以外，EMR 元数据，包括 Hive Metastore 内置元数据库、外置的 RDS 等，也被抽取到统一的服务里。相信使用过 Hive Metastore 的小伙伴，肯定没有少被 Metastore 的 RDS 给坑过，RDS 有个风吹草动，那么 Hive Metastore 就会有问题，但这些问题现在都可以被云原生服务有效解决。
同时，配置中心也对集群做了一层集群，如集群配置、所需组件等，都会以虚拟形式存储。同时，引擎的元数据做了服务化，包括权限管控、用户体系等。
最后，Stateless 解决了非常困扰运维的一个问题——日志把本地磁盘写满。在 Stateless 体系下面不会再有这样的问题，通过 TOS 对象存储，日志都是落在一个按需的对象存储上面。对象存储可以被认为是无限大的，所以无需为它所占的磁盘空间去担心，只需要去定义好它的生命周期，这个问题就能被解决。

文章插图
上文提到了 Stateless 基础的大数据体系，现在就进入一个环节，在状态流上用一个 case 为大家讲解一下刚才的体系。
首先，从上图可以看到，虚线框框住的就是 Stateless 从实体集群里抽象出来的，像元数据服务、管控服务等一系列服务，有 Web UI，也有 Open API 。这些 Open API 会作为控制集群创建和销毁的 trigger，相关指令会交到调度平台上，例如 Airflow，DolphinScheduler 等。调度平台在提交任务的时候，会通过接口对集群的生命周期做一些影响。
其次，再到 trigger 这一层，主要通过云原生提供的 Open API就能够去控制集群了。如果要提交任务，就会去新起一个集群，并且对集群做一个状态的恢复，这是指任务希望有一个什么样的集群配置。这个配置可能是版本参数，也有可能是一些机型的配置。无论是什么样的配置，Stateless 都能忠实地将集群恢复到初始化的样子。因为集群是无状态的，执行作业完成后，就会释放掉实体的集群，它的生命周期也就结束了。