江苏龙网

  1. 首页 > 人文 > >

幻化成蝶|杉岩数据：从数据到洞察，如何用对象存储支撑新型数据湖( 二 )


幻化成蝶|杉岩数据：从数据到洞察，如何用对象存储支撑新型数据湖图2 数据湖文件网关分布式部署于计算服务器
4、HDFS协议增强实现大数据存算分离
HDFS作为传统的数据仓库存储平台在数据湖场景下面临性能和成本的问题 。 在实际应用中 ， 在10～20PB以上的数据规模下 ， HDFS的性能下降严重 ， 另外HDFS基本只支持多副本的存储模式 ， 对纠删码的支持效果不佳 。 MosFS和MOS组合构建的数据湖存储兼容HDFS接口和S3协议 ， 可以实现存储和Hadoop计算平台的分离 ， 帮助客户把HDFS的数据统一归集到MOS存储中 ， 实现非结构化数据、半结构化数据和结构化数据的统一管理 。 MosFS提供的原生HDFS接口100%兼容主流平台 ， 并在内部实现了S3/OSS与HDFS接口协议的互通转换 ， 避免数据多次拷贝 。
幻化成蝶|杉岩数据：从数据到洞察，如何用对象存储支撑新型数据湖图3 数据湖架构实现存算分离
大数据分析和AI训练推理融合的需求越来越多 ， 传统的大数据存储仅提供HDFS接口 ， 大数据分析的结果如果用于AI训练 ， 需要把数据拷贝到其它存储中处理 ， 导致数据分析整体效率的低下 ， 也浪费了存储空间 。 杉岩新型数据湖架构既能提供HDFS接口用于大数据分析 ， 又能提供文件和对象接口用于AI训练推理 ， 大数据分析结果可直接通过文件接口访问 ， 无需拷贝和等待 ， 很大程度上提升了融合场景的大数据分析效率 。
4、AI训练实践案例
类脑智能技术及应用国家工程实验室是由中国科技大学组建 ， 由中科院、复旦大学、微软、百度等机构共同承建的国家工程实验室 ， 中科类脑成立于2017年 ， 是该实验室的产业化平台 ， 通过搭建“先进人工智能算法+公有计算云+私有部署云”的智能混合云平台 ， 对外提供计算资源、人工智能技术、智能化解决方案等服务 。
中科类脑开发的类脑云OS提供了大规模算力、数据和智能技术 ， 有效降低人工智能创业门槛 ， 能够促进人工智能应用生态的发展 ， 赋能各行业完成智能升级转型 。 目前该平台已经汇聚了180项AI前沿算法、100类通用数据集 ， 具备丰富的平台建设和行业落地经验 。
杉岩新型数据湖架构已经在类脑云OS得到应用 ， 根据中科类脑的训练方案 ， 数据集分别放在本地SSD、分布式NAS存储和杉岩MosFS+MOS上 ， 性能对比测试结果表明 ， MosFS训练耗时与本地SSD接近 ， 对比分布式NAS ， MosFS在单GPU节点下读取性能提升62.5% ， 双GPU节点分布式训练的性能提升75.8% 。 集群规模越大 ， 杉岩数据湖方案的性能越能得到体现 ， 表现出了优秀的扩展性 。
幻化成蝶|杉岩数据：从数据到洞察，如何用对象存储支撑新型数据湖图4 本地SSD、MosFS、NAS的模型训练性能对比
5、智能应用和大数据分析需要智能的新型数据湖
数据基础设施正在走向智能和融合 。 数据湖如果不能实现有效的数据管理 ， 就会变成“数据沼泽” ， 智能管理要求存储提供多维度的检索能力、生命周期管理能力以及数据可视化能力 ， 实现数据的合理分类与管理 ， 加速数据清洗、转换、流动的过程 。 存储与计算架构实现分离 ， 结构化数据、半结构化数据、非结构化数据统一存放在数据湖中 ， 海量的数据得以在数据湖中实现融合 ， 不同类型数据存储的界限逐渐模糊 。
【幻化成蝶|杉岩数据：从数据到洞察，如何用对象存储支撑新型数据湖】人工智能和大数据分析应用的融合使得一份数据能够同时提供给多个计算及分析流程使用 ， 新一代数据湖存储平台必须具备多源数据管理能力 ， 包括混合云能力与异构纳管其它存储的能力 ， 以及可智能感知内容的高性能多协议数据服务能力 。 新型数据湖架构必将为数据分析和智能应用的开发和运行带来巨大的便利 ， 加快迭代分析过程 ， 简化基础设施需求 ， 提供综合的数据服务能力 ， 方便人们高效率地提取数据价值 。


推荐阅读


上一篇：幻化成蝶|湖州移动德清5G智慧出行项目荣获第三届“绽放杯”5G应用大赛浙江赛区决赛一等奖

下一篇：风暴俱乐部|面向对象的两大迷思，再给你们解答一次