江苏龙网

  1. 首页 > 人文 > >

「技术」混合云环境中的Kubernetes和HPC应用程序Part II


本文为该系列的第二篇文章 ， 第一篇文章点击此处 。
作者：Daniel Gruber ， Burak Yenier和Wolfgang Gentzsch ， UberCloud 。
该公司成立于2013年 ， 致力于开发HPC容器技术和容器化工程应用程序 ， 以促进在共享的本地或按需云环境中访问和使用工程HPC工作负载 。 本文及上一篇文章中 ， 他们描述了过去12个月在Kubernetes上使用UberCloud HPC容器的经验 。
随着云服务的兴起 ， CIO意识到在各种计算环境中运行的应用程序 ， 中间件和基础架构需要通用的管理和操作模型 。 通过为每个云提供商使用不同的专用基础架构和应用程序管理解决方案 ， 在本地和云环境中维护不同的应用程序和中间件堆栈 ， 会在动态分配 ， 使用和管理这些资源时增加很多麻烦 。
混合云环境中缺乏通用的管理和运营模型可能导致：

  • 不均匀 ， 分散的环境给管理人员 ， 操作人员和安全性带来了额外的复杂性 。
  • 由于没有通用管理的混合环境 ， 创新速度降低了 。
  • 当依赖于云提供商的特定服务时 ， 很难更改或关闭云资源 。
  • 当绑定到特定的云环境设置时 ， 工作负载不容易迁移回本地环境 ， 反之亦然 。
正如上一篇文章中指出的那样 ， Kubernetes已成为事实上的标准容器编排器 。 所有主要公司都在随处可用的标准化API之上提供并构建解决方案 。 CIO现在正在研究Kubernetes在混合云中对HPC的适用性 ， 因为它为每种环境提供了通用的管理和操作模型 。
Kubernetes：混合云的通用管理和运营模型 Kubernetes促进了服务器队列中运行的无数容器的使用和管理 ， 它是由许多IT供应商和云提供商支持的用于混合环境的新标准平台 。 现在 ， CIO可以分配一个完全配置并受支持的容器编排器 ， 作为其所有应用程序工作负载的基础 。
与专有基础架构解决方案不同 ， Kubernetes具有可移植性 ， 易于管理 ， 高可用性 ， 可集成性和监视功能 。 在Kubernetes上管理资源时 ， CIO不再绑定到特定的基础架构 。 他们可以使用相同的应用程序堆栈为用户提供相同的功能集 ， 无论是本地还是在任何云中 。 用户甚至不知道自己的应用程序正在Kubernetes上运行 ， 也不知道它们在哪个基础架构上运行：是在自己的数据中心还是在特定的云提供商（例如Google ， Microsoft或Amazon）上 。
通过使用像Kubernetes这样的标准化软件栈来降低混合云环境的复杂性具有许多优点：对一个平台进行的改进可以自动在其他平台上使用；部署和运营方面可以简化；安全审核更容易 ， 更严格地执行 。
Kubernetes和HPC Kubernetes已经是AI和ML的事实平台 ， 但是 ， 当涉及到传统的高性能计算时 ， 仍然存在一些挑战 。 HPC工作负载管理器中内置了一组功能 ， Kubernetes中尚不可用 。 我们之前在第一篇文章已经讨论了主要差异 ， Kubernetes在HPC方面的主要差距是：对分布式内存作业（即MPI应用程序）的本机支持 ， 以及与现有HPC应用程序兼容的缺少的作业排队系统 。
Kubernetes在许多层上都内置了高可用性 。 但是 ， 对于HPC作业 ， 仅重启一个失败的容器是不够的 ， 因为整个分布式作业本身可能已经失败了 。 在这种情况下 ， 需要对整个分布式内存作业进行自动重新计划 。 这是Kubernetes无法处理的 。
除了这些挑战之外 ， Kubernetes还为HPC带来了许多好处：例如 ， 工程师和容器化HPC应用程序的环境始终是相同的 ， 无论是本地部署还是在基于云的环境中运行；快速从一种基础架构转换为另一种基础架构的能力使HPC团队能够与其公司的云路线图保持一致 。 在基于通用API（Kubernetes API）的基础架构之间移动工作负载的自由变得很有价值 。
Kubernetes上的容器化HPC应用程序 【「技术」混合云环境中的Kubernetes和HPC应用程序Part II】


推荐阅读


上一篇：「货车」货车突然起火，加油员齐刷刷拎起灭火器

下一篇：美股研究社：索尼 PS5 将兼容 4000 多款 PS4 游戏，为用户提供更好的游戏体验