云计算|开源向左，自研向右，100%自研的QingStor存储再升级
文章图片
文章图片
导读|在低成本快速开发产品与沉下心自研之间 ， 青云QingCloud选择了后者 。
青云QingCloud一直是比较“重”的云计算独角兽 ， 很多核心技术都坚持自主研发、自主可控 ， 存储也不例外 。
从2012年推出第一个版本的云计算产品开始 ， 青云QingCloud 旗下QingStor 分布式存储产品从架构设计到产品开发 ， 完全采用 100 %自主设计、自主研发 ， 从零开始构建而成 。 八年后 ， QingStor 分布式存储产品线日益完善 ， 可以支撑市面上几乎全部主流云计算平台 ， 应对企业对存储产品极致性能、大容量、高 IOPS、高吞吐及通用接口等多种复杂需求 。
2020年9月2日 ， QingStor举行年度新品发布会 ， 旗下NeonSAN、对象存储、文件存储和融合存储四款产品全面升级 ， 并推出容器存储一体机 KubeSphere KF3000 和分布式全闪存储一体机 QingStor NF6000 两大新品 。
企业级存储有哪些新的发展趋势？新一代QingStor产品有哪些技术创新？当很多厂商选择基于开源存储平台Ceph做二次开发时 ， 青云QingCloud为什么要走从零开始自研这条艰难的路？近日 ， 「智能进化论」采访了QingStor研发团队 。
热、冷、温、混合数据 ， 四大场景产品全面升级过去十年 ， 企业级存储市场发生了巨大变革 。 云计算、移动互联网、大数据、5G、AIoT等新兴应用场景对存储不断提出新的需求 。
QingStor 存储产品线研发负责人王煜认为 ， 企业级存储市场的发展有两大趋势：
第一 ， 分布式存储仍处在爆发增长期 。 IDC报告显示 ， 无论是对象存储、文件存储还是块存储 ， 在未来几年里都会保持两位数高速增长;
第二 ， 随着SSD全闪介质成本快速下降 ， 全闪存储逐渐成为主流 。 IDC报告显示 ， 全闪存储在所有采用存储的企业里已经占80%的使用率 。 而且今后几年每年都会保持50%的年均增速 。
QingStor 存储产品线研发负责人 王煜
当企业的存储场景越来越多样和复杂 ， 没有任何一种存储方案能够完全满足所有存储场景 。 有些场景需要极致性能 ， 有些需要大容量 ， 有些需要高IOPS ， 有些需要高吞吐 ， 有些则需要通用的接口 。
青云QingCloud把存储场景分为热数据、冷数据、温数据以及混合场景四大类 。 QingStor的四个产品分别针对四大场景开发：面向企业核心业务数据的块存储；面向海量静态数据、适合非结构化数据的对象存储；面向通用场景的文件存储；以及兼顾多种存储场景的融合存储 。
分布式块存储QingStor NeonSAN是面向企业关键业务与核心数据的性能担当 。 能否稳定运行Oracle RAC集群数据库是对高端存储性能的一个考验 。 此前只有传统存储才能做到 。 QingStor NeonSAN是第一款也是唯一一款能够支持Oracle RAC的分布式存储产品 。
而且在兼容性方面 ， QingStor NeonSAN可以对接VMware、OpenStack、Hyper-V等主流的虚拟化或云计算平台 。 同时 ， 面对日益普及的云原生环境 ， QingStor NeonSAN可以为K8s、KubeSphere容器平台提供高性能、可靠性、企业级分布式存储的能力 。
根据IDC最新的研究报告 ， 目前全球数据总量已达50ZB（约等于1万亿GB） ， 其中非结构数据占到80% 。 对象存储正是管理快速增长的非结构化数据的最佳选择 。 QingStor 对象存储 3.0 是一款鱼和熊掌兼得的存储服务 ， 兼得海量数据存储和数据存储的超高性能 。 3.0版本新增了数据迁移、数据保护、数据备份、AI视频监控等更多场景 。 性能方面 ， 当单存储桶（Bucket）对象数量超百亿时 ， QingStor 对象存储性能仍可保持稳定 ， 在业界处于领先地位 。
文件存储是最古老且运用最广泛的一种数据存储方式 。 全新升级的QingStor文件存储通过自研整个文件系统栈 ， 搭建统一命名空间 ， 让文件存储摆脱了本地文件系统的限制 。 每一个目录支持多个接入节点同时访问 ， 在容量和和文件数量上没有限制 ， 让处理能力有了水平扩展 。
QingStor融合存储满足的是企业一次采购就能获得多种存储类型和存储接口的需求 。 它将上面三款专业存储在部署层面上做了整合 ， 但是在架构层面上依然保持每一个专业存储本身的架构特点 ， 以及完整的功能和性能 。
开源VS自研 ， 真正的创新源自最难走的路【云计算|开源向左，自研向右，100%自研的QingStor存储再升级】目前 ， 很多国内存储厂商在技术路线上 ， 会选择基于Ceph这样的开源分布式存储平台作为底层进行二次封装和二次开发 。 青云QingCloud为什么要选择100%自研这条非常艰难的路？王煜表示 ， 主要基于两点：
第一 ，企业核心业务上云对于安全性、隔离性、大规模水平扩展能力都有很高的要求 ， 开源分布式存储产品很难全面满足这些要求 。 通过对Ceph性能的严格测试 ， 以及对大量企业客户的调研 ， QingStor研发团队认为 ， Ceph最根本的逻辑是期望通过一套解决方案满足所有的需求 ， 这对具有高专业性的存储业务不太适用 。
“如何快速开发分布式存储的企业级产品 ， Ceph给企业提供了很好的平台 。 但是如果在底层技术研发上没有积累 ， 后面的发展会比较危险 。 这也是为什么我们很难在企业核心业务场景里看到Ceph的身影 ， 比如高性能数据库等场景 。 更多是用在新兴场景 ， 对象存储的接口等 。 ”
第二 ，自研可以为中国客户提供全栈自主可控的优质产品 ， 从而消除企业对数据安全的顾虑 。 目前 ， 从软件架构、底层芯片到操作系统 ， QingStor 已经全面实现和国产化厂商的兼容、互认证 ， 构建起国产化生态 。 目前QingStor已完成与鲲鹏、飞腾、中科海光、浪潮 OpenPower 等国产芯片的兼容适配测试 ， 实现对统信UOS、麒麟、欧拉等主要国产操作系统的兼容对接 。
正是自研让青云QingCloud在存储领域获得了一些行业领先的新技术 。 比如 ， 在QingStor NeonSAN 3.0版本里推出NVMe over RoCE的技术 ， 简称为NVMeoF ， 实现客户端访问存储的新协议 。 在文件存储中 ， QingStor 已经用到现在业界最先进的、非常适合底层存储编码的Rust语言 。 用Rust语言开发存储系统正在成为一种行业趋势 ， AWS无服务器服务、Dropbox的核心存储系统、Facebook区块链项目Libra都已支持Rust语言 。
强化场景化能力 ， 做能解决业务问题的存储除了技术、性能、功能上的全面提升 ， 场景化能力也是本次QingStor年度升级的重磅内容 。
一方面 ， QingStor 产品更加注重与上层应用开发合作伙伴的无缝对接 。 “我们新版本发布的非常重要的一个方向就是场景化能力的加强 ， 帮助存储行业上层的ISV厂商 ， 更容易基于我们的产品来开发上层应用 。 ”王煜表示 。
KubeSphere KF3000 容器一体机 ， 就是为帮助企业用户优化落地容器平台的生产环境而推出 。 QingStor 存储产品线产品经理冯相东介绍 ， “如果青云QingCloud 只是把目前在国内第一款开源容器平台 KubeSphere ， 以及在业界领先的分布式块存储 QingStor NeonSAN 提供给企业 ， 企业还需要做大量配置的工作 ， 在落地生产上也要再做优化 。 ”
QingStor存储产品线产品经理 冯相东
另一方面 ， QingStor让存储产品更落地场景 ， 旨在帮企业直接解决业务问题 ， 而不仅仅是增强IT能力 。 比如 ， 在AI视频监控场景下 ， QingStor对象存储彻底打通视频影像数据的生命周期 ， 让企业轻松管理从海量数据存储到数据分析处理 ， 到数据归档的流程 。 通过SDK让智能终端直接写数据到对象存储 ， 简化了端到存储的流程 ， 并平滑对接外部数据AI分析引擎 。
自动驾驶是一个典型的对象存储商业场景 ， 企业每天采集到的原始数据量级达到上百TB 。 在某自动驾驶客户的案例中 ， QingStor对象存储因其超高的性能 ， 标准开放的应用接口、灵活部署、运维简单等优势满足了客户需求 。 目前 ， QingStor对象存储已经为该客户存储了超过 10PB 的数据 。 在业务初期 ， 还解决了跨云跨区海量数据迁移的难题 。
写在最后技术路线的选择与企业的价值观息息相关 。 在低成本快速开发产品与沉下心自研提供最高阶的品质之间 ， 青云QingCloud选择了后者 。
经过 8 年锻造 ， 100%自主设计和研发 ， 为云而生的QingStor 分布式存储 ， 不仅是青云QingCloud自身全部云产品的底层支撑 ， 也已经被数万企业客户大规模验证 。
本文为「智能进化论」原创作品 。
推荐阅读
- 开源|智源x清华开源FastMoE，万亿AI模型基石
- 谷歌|谷歌开源AI模型“搜索引擎”，NLP、CV都能用
- 大数据&云计算|【厅属动态】中国测绘学会测绘地理信息创新产品：广东省自然资源大数据挖掘分析系统
- 云计算|淮海·壹佰廿｜潮玩淮海——亚瑟士首家中国旗舰店
- 云计算长跑，谁正在掉队？
- 蓝鲸财经|Daniel Povey：Kaldi 核心算法K2 0.1版本已发布，未来将坚持开源
- 64岁Python之父退休失败，正式加入微软搞开源
- 开源中国|2020OSC中国开源项目TOP30名单公布：华为方舟编译器等上榜
- 无处不在的云计算，到底有哪些优势？
- 大数据&云计算|XPU时代创新者英特尔