Σco时间 | 站在未来看现在：智能时代数据存储产业谈
面向智能时代 ， 5G、AI、大数据等新技术带来的数据爆炸式增长 ， 智能时代数据存储如何突破现有思维 ， 充分利用前沿硬件、低延时网络技术 ， 结合创新的算法和融合架构来满足智能时代业务新需求 。
文章图片
华为智能数据与存储领域副总裁张福鹏
本期#Σco时间#活动上 ， 华为智能数据与存储领域副总裁张福鹏从“智能时代 ， 数据存储面临哪些挑战”“数据存储需要满足哪些特征”“揭开智能时代数据存储架构的神秘面纱”三个方面带大家走进了精彩的存储未来世界 。
智能时代 ， 数据存储正面临四大挑战
挑战1：生产交易类数据高并发、低延时、高可靠
据张福鹏介绍 ， 随着5G带来的大带宽、低时延 ， 对数据处理速度、频度、可靠性提出了新的要求；以金融交易为例 ， 我们每天用到的微信、支付宝等小额支付 ， 使得交易量增长10倍以上 ， 而且在线购物也不再受门店营业时间的限制 ， 必须做到7x24小时不间断服务 。 这些都对数据交易的时延、可靠性等提出了前所未有的挑战 。
挑战2：海量非结构化数据存储 ， 长期保存与价值挖掘
类似今日头条每天50PB的数据 ， 绝大多数都是非结构化数据 。 窄带和宽带物联网、4K/8K视频、自动驾驶等多数据源、多模数据的大量采集、长期保存、冷数据变温数据等带来了新的海量数据存储需求 。
挑战3：数据无缝流动 ， 融合高效的处理与分析
数据要长期保存 ， 更要无缝流动才能产生更多的价值 。 从实际业务来看 ， 在距离数据产生最近的边缘场景 ， 比如摄像头 ， IoT ， 传感器等 ， 数据如何存储和高速处理 ， 如何提供边、中心、云的统一数据保护和管理 ， 既可以让数据高速流动 ， 又能做到每比特成本最优 ， 价值最大 ， 也是我们企业全场景业务面临的新挑战 。
挑战4：数据全生命周期管理 ， 场景化、智能化、降本增效
数据全生命周期管理 ， 从数据产生的源头 ， 实现边云协同叠加AI的能力 。 业务希望能充分利用云上数据量大的优势形成基线 ， 同时在本地增量训练 。 结合具体业务提供个性化调优 ， 实现对数据生产、分析、备份、归档的全生命周期的智能化管理 。 这也是颠覆传统IT架构 ， 从数据视角打破边界 ， 构建数据基础设施的一个重要理念 。
文章图片
预见|智能时代存储
智能时代 ， 存储应该具有哪些特征才能更好的应对新技术、新业务带来的新挑战呢？张福鹏表示 ， 智能时代数据存储要满足三个主要特征 ， 即智能、融合、高效 。
智能
智能时代的数据存储要充分利用AI的能力实现StorageforAI和AIinStorage ， 进而承载数据全生命周期智能管理 。
华为OceanStor在边缘存储端加入了AI芯片 ， 实现个性化AI ， 存储自身基于AI芯片对存储数据进行深度学习 ， 实现存储设备的独特性能优化 。
同时将边缘存储的数据采集上传云端 ， 数据在云端经过训练和建模后 ， 形成通用模型发布给边缘存储 ， 存储AI芯片再基于通用模型进行强化学习 ， 与自身数据特征结合 ， 培训建模形成个性化模型 ， 再来指导存储实现场景预测、故障推理 。 整体形成一个端云协同AI芯片加速的自驱动 。
为了应对万物互联智能时代数据存储的易管理、易运维需求 ， 华为还提供了基于AI使能的自动化数据管理系统 ， 帮助用户实现数据自动化与智能管理与运维 。 而在全生命周期数据管理方面 ， 华为则将存储系统的智能管理分为三层 ， 即设备层、数据中心层、和云上云下 ， 通过三层联动 ， 实现高效的运维运营 。
数据融合
除了智能化管理 ， 面向多模数据、多级介质、边、中心、云物理位置、多种协议带来的数据孤岛 ， 融合是华为持续追求的 。
智能时代存储如何打通数据孤岛 ， 实现从端到云的融合互通能力 ， 华为认为有几个地方需要重点考虑：异构融合、多服务融合、分级归档融合、生产分析融合、端-云融合 。
当然 ， 面向实际的业务场景 ， 还需要考虑包括数据库与存储融合、万核级调度等 ， 这些都是华为持续要构建的存储能力 ， 让数据存得下、流得动、用得好 。
极致可靠
智能时代存储三大特征 ， 除了智能、融合这两个非常重要的特征之外 ， 面向实际业务需求 ， 还需要高效的数据存储与管理 。 这里面可分解为极致可靠、极致容量和极致性能三个方面来分析 。
在高可靠性领域 ， 不仅仅是在架构层面 ， 在组件（硬盘）、系统（RAID）、解决方案（双活）层面同时要有大量的创新 。
硬盘的可靠性是存储系统的基础 ， 华为在盘级可靠性上做了大量的研究 ， 并把结果应用到华为自研的SSD上 ， 比如擦写次数是SSD盘片寿命的主要因素 ， 华为在硬盘上采用了SSD全局磨损均衡&全局反磨损均衡的专利技术 ， 来提升SSD寿命 。
文章图片
在架构可靠方面 ， 智能时代存储架构也需要考虑通过前端共享互联、控制器全互联、后端共享互联 ， 真正意义上实现：全局互联、全局负载均衡 ， 做到更可靠更均衡 。 而目前华为存储的架构可靠性已经领先于业界同类产品 。
在系统可靠方面 ， 随着趋势的发展 ， 大盘时代来临 ， 硬件+算法才能构筑系统级的高可靠能力 。 华为RAID-TP ， 通过创新的数据校验算法 ， 可以实现系统内3个盘同时失效 ， 业务不受影响 。
在方案可靠方面 ， 要实现免网关双活的极致可靠 ， 站点间要求实现负载均衡 ， RPO=0&RTO≈0 。 此外 ， 专属硬件设备可以做到存储互通 ， 在3DC更高级别可靠性上可以实现灵活组网 ， 同时降低容灾系统建设成本 。
在云级可靠方面 ， 在生产中心方案级可靠的基础上 ， 通过存储系统的容灾特性 ， 如秒级快照、备份、统一管理等 ， 实现灾备中心 ， 以及云上中心的融合数据管理 ， 做到中心间分钟级的可靠性 ， 和云上云下小时级的灾备与恢复 。
极致容量
面对海量数据爆炸式增长 ， 新业务对数据存储和管理不但要求持久化、数据不丢失 ， 更要考虑极致的容量和性价比 。
面向全闪存的时代 ， 存储具备了智能芯片 ， 弹性EC算法提出了EC聚合方案 ， 多个数据块可以在一个EC分条上进行聚合 ， 以获得性能和EC利用率的双重保证 。 通过弹性EC技术 ， 可以将EC比例提升到22+2 ， 磁盘利用率达到91.6% ， 并且 ， 在相同的硬件条件下 ， 其性能可与传统三副本性能持平 ， 让存储利用率和可靠性提升有商用价值 ， 支撑企业在云时代转型走得更远 。
在计算存储分离方面 ， 华为提供基于原生HDFS协议的分布式存储 ， 不但简化了大数据海量数据存储的配置和管理 ， 同时可以使能计算与存储按需扩容 ， 实现价值最大化 。
极致性能
华为认为 ， 对于智能时代的存储 ， 要充分利用芯片+算法+架构来全面提升性能、降低延时 ， 为业务带来新的价值 。
为了实现端到端关键路径加速 ， 从传、算、智、管、存上引入关键芯片 。 同时在算法方面 ， 华为存储以创新的Flashlink盘控配合算法 ， 能够实现控制器、硬盘框和SSD盘的联动 。
而为了支持数据中心的网络存储 ， 华为通过NVMeoverFabric可以实现NVMe标准在多种网络上的扩展 ， 达到降低存储网络协议栈处理开销并提供高并发低延时应用 ， 适应SSD介质驱动的存储架构演进 。
同时 ， 为了在前端数据传输阶段 ， 加速NVMe协议传输效率 ， 华为存储还设计了新的DTOE智能网卡 。 上一代使用的TOE网卡 ， 只是较传统网卡 ， 实现了部分数据传输卸载处理 ， 依然存在内核中断产生的高延迟开销 。
华为OceanStor：智能+硬件+算法 ， 打造智能时代存储新架构
华为OceanStor面向智能时代存储打造了基于“智能+硬件+算法”的创新架构 ， 基于MemoryFabric打造以内存/SCM为中心的极致性能层 ， 基于ALLIP的全闪存极致成本和高性能的容量层 ， 提供数据存储的智能分层管理 。
同时面向CPU/NPU/GPU基于创新算法和高速互联协议提供万核级计算资源池化 ， 智能调度；面向业务提供基于容器的异构微服务化 ， 打破内存性能墙、算力墙、协议墙等边界；
还基于数据全生命周期的智能管理系统 ， 为万物互联的智能时代持续提供符合时代要求的创新存储产品 。
华为从2002年持续深耕存储领域 ， 汇聚全球精英 ， 致力于智能时代存储的创新研发 ， 目前产品受到了全球客户和权威机构的认可 。 华为希望基于过去18年针对智能时代数据存储的研究 ， 为客户持续提供智能、融合、高效的存储产品 。
近日 ， IDC中国最新发布的2019Q4《中国企业级外部存储市场季度跟踪报告》显示 ， 2019年华为存储以29.5%的市场份额排名第一 ， 同比年度增长率42.4% ， 已连续5年排名中国市场份额第一；2019年Q4Gartner全球外部存储市场份额报告也显示 ， 华为存储在中国市场收入、发货套数及发货容量均排名第一 。 华为存储以过硬的产品实力获得中国市场客户的信赖 ， 持续引领中国企业存储市场 。 同时 ， 在产品研发领域 ， 华为存储也掌握了领先业界的产品技术 ， 实现了多项基础能力突破 。
【Σco时间 | 站在未来看现在：智能时代数据存储产业谈】华为存储通过扎实的技术研发与市场积累 ， 已经成为国内广大行业客户数字化转型路上值得信赖的合作伙伴 。
推荐阅读
- 颠覆未来战场？美军成功测试新武器，但中国早用来砍树了
- “神童”将加入NBA发展联盟？未来的中国男篮，强敌恐不止日本！
- 意媒：尽管有意，但罗马还未向博纳文图拉开出正式报价
- 宝爸宝妈要知道，这几个时间生孩子最合适
- 支付宝、微信未必安全？手机出现这3种征兆，你或许已被黑客监听
- 定了！上海中小学放暑假时间公布！网友：哦嚯！神兽又要出山了……
- 杨幂“广告未修图”流出，失去十级PS后，终于相信她已34岁了
- 肺炎尼加拉瓜政府仍未下令停课 六名教师因新冠肺炎去世
- 中国网王毅谈疫情下的中美关系：不要再浪费宝贵时间 不要再无视鲜活的生命[组图]
- 零售马云“预言”再次被确认，未来电商将被淘汰，出现了新模式