江苏龙网

  1. 首页 > 生活 > >

怎样评价OpenStack的Sahara项目( 二 )


关于sahara的高可用问题，sahara-api肯定是没有问题的，因为是无状态服务，前面直接加个LB即可。sahara-engine是真正干活的服务，目前支持分布式模式(Distributed mode)，当其中一个sahara-engine挂了之后，只要还存在健康的sahara-engine服务，整个服务就还能用。但是官方明确点明，参考Sahara Advanced Configuration Guide:
Note that distributed mode is not a true high availability. While the failure of a single host does not affect the work of the others, all of the operations running on the failed host will stop. For example, if a cluster scaling is interrupted, the cluster will be stuck in a half-scaled state. The cluster might continue working, but it will be impossible to scale it further or run jobs on it via EDP.
也就是说sahara分布式模式并不是真正的高可用。通常sahara任务运行都非常长(创建一个集群至少得几分钟)，如果负责某个任务的sahara-engine挂了，这个任务就立即终止了，不能迁移到其它sahara-engine。比如扩容操作，中间突然故障中断了，集群就有可能处于半扩容状态，有什么潜在问题不好说，排查起来也麻烦。
sahara支持水平扩容，比如增加一个datanode节点。但是目前不支持垂直扩展，比如你突然发现master节点撑不住了，想增加CPU和内存，sahara是做不到的，当然你可以通过nova的resize去做。
sahara把部署Hadoop集群自动化了，前面提到，用户可以自定义节点和服务角色，通过模板创建集群的，灵活性多少受模板的约束，比如你一旦创建好集群，就不能挪角色节点，比如你想把Zookeeper节点挪到其它节点是不行的，你也不能先创建一个集群，之后再创建Zookeeper集群。我们之前有客户想通过sahara部署kafaka集群，客户只需要kafka（以及其依赖的Zookeeper服务），不愿意部署其它任何Hadoop额外组件,目前的plugin是没法实现的，因为几乎所有的plugin都会强制部署HDFS，当然自己写plugin是可以实现的。
关于"Hadoop直接部署在物理机集群相比，Sahara的意义如何体现？执行效率会不会有影响？"这个问题，Sahara并非一定把Hadoop集群部署到虚拟机，Sahara是可以把集群直接部署到物理机的，这其实也简单，就是直接和Ironic集成，同样调用的Nova API，具体可参考Run a Sahara cluster on bare metal servers，理论上是没有问题，具体我也没有试过。Sahara的意义是什么，简单说就是把大数据服务云化、自动化，其实我个人更看重sahara的EDP服务，屏蔽集群结构，只暴露计算平台接口，用户只需要提交jar包以及数据源就能自动完成计算。
案例上，我听说有几个公司使用Sahara项目的，但都做了不少的修改和优化，OpenStack官方关于大数据也提到使用Heat部署，参考Software - OpenStack Open Source Cloud Computing Software，架构参考OpenStack Workload Reference Architecture: Big Data。

■网友
如果是分析的数据量较小 或者作为一种通用的服务。 用 sahara 不错。 减少了搭建 hadoop 的学习成本。 如果分析量较大，性能要求较高。比如改一些MR源码 中间输出结果做二次计算或需要存储到 HBase 等情况下、用户提交 job 分析不方便。 性能方面 计算资源调度 hadoop YARN 在做调配、Shara 也做了调配。
■网友
Sahara可以为用户提供部署Hadoop集群的能力，可以通过简单配置如Hadoop版本、集群结构、节点硬件信息等等完成集群部署。主要应用在提供在OpenStack上快速配置和部署Hadoop集群的能力，提供分析即服务的数据分析服务。
面对国内AI、大数据浪潮的驱动，从O版本开始国内OpenStack会员厂商纷纷加大在Sahara项目开始投入，O版本是社区当前最新的稳定版本，国内厂商如浪潮、九州等社区实力较强厂商已经推出基于O版本的云产品。Sahara作为OpenStack在大数据方向的重要项目，从社区贡献排名可看出O版本投入前几名包含Mirantis、Redhat、EasyStack、浪潮、MapR等厂商。


推荐阅读


上一篇：人肉搜索犯法么

下一篇：码农为啥喜欢自黑