小胖有技能|海量数据何去何从?新一代归档存储给你想要的答案

随着互联网科技的不断进步 , 产生的数据将以成倍速度进行增长 , 据IDC预测 , 到2025年全球数据总量将会达到175ZB 。 如果要把175ZB用8TB的磁盘存下来的话 , 那就需要230亿块磁盘来存储这些数据 , 如果每块磁盘的成本是1300元 , 那要完整存储这些数据 , 就需要付出30万亿的存储硬件成本投入 , 相当于国内一年生产总值的三分之一 。
逐步攀升的数据存储需求和高昂存储成本的冲突下 , 很多企业都将面临着大量数据无法得到有效存储和数据流失的问题 。 对此 , UCloud存储产品经理周恭元在10月23日刚结束的TIC2020技术分论坛上带来了《海量数据云归档存储最佳实践》的议题分享 , 围绕企业数据归档面临的存储问题及需求 , 重点介绍了数据存储的分层价值 , 以及UCloud新一代归档存储的可靠性优势及三大适用场景 。 本文整理自演讲内容 , 供大家参考学习 。
小胖有技能|海量数据何去何从?新一代归档存储给你想要的答案
文章图片
传统归档存储面临的两个问题
首先 , 周恭元分享了今年疫情特殊时期碰到的两个公司的遭遇 。
第一件事情 , 大约4月份的时候 , 某电商公司一个做DBA的朋友来咨询我 , 本地硬盘已经删除了的文件有没有办法恢复?我便产生了一些疑问 , 为什么数据库运维要管这些呢?后来详细聊了下事情的原委 , 才知道他们公司由于设置了30天的数据库日志备份策略 , 但是正好碰上这次疫情休假时间超过了一个月 , 导致一些年前的数据库日志数据已经被删除了 。 究其原因 , 根本的问题还是由于公司为了节约成本 , 使本地归档存储的空间有限造成的 。
第二件事情 , 某传统企业申报项目的核心数据存储在公司内网的共享文件中 , 而内网网盘数据与外网不通 , 导致他们不得不在疫情相对严重的时期 , 还需要专门派人去公司将所需的数据拷出来 , 浪费了大量精力 , 同时也存在外出感染疫情的风险 。
从这两件事情 , 不难看出传统数据归档存储确实存在着两个问题:一是本地存储空间的限制 , 二是数据交互的不便 。 而这也正是如今有越来越多的用户开始选择云存储进行数据归档的原因 。
ZB级数据需要做“冷热”处理
随着数据的量级从MB、GB增长到PB、EB甚至ZB级别 , 就会产生一个很实际的问题 , 就是企业存储能力的提升已经远远跟不上数据的增长速度 。 预计到2025年 , 全球175ZB的数据最终将会流失超过90% 。 而对企业来说 , 这流失的90%数据正是需要被长期存储下来存在价值的数据 。
一方面是大量数据无法得到有效的存储 , 另一方面这些真正被存储下来的数据又面临什么样的情况呢?
小胖有技能|海量数据何去何从?新一代归档存储给你想要的答案
文章图片
通过分析用户存放在UCloud公有云对象存储的数据访问量可以发现 , 数据在单位时间内的请求数(我们也称之为数据热度) , 是会随着时间的推移不断降低的 , 也就是说绝大多数据在半年之后都会成为冷数据 。 然而实际上 , 大部分用户还是将这些冷数据存放在与刚写入这些数据时相同的存储类型中 , 造成了大量不必要的成本支出 。
针对这样的问题 , UCloud最早在2017年就推出了第一代归档存储产品 , 2019年针对对象存储产品的不同存储类型做了统一 , 提供了三种不同的存储类型 , 单价上由热至冷 , 存储成本分别为标准存储的一半与四分之一 。 这样一来 , 用户就可以实现在同一个存储空间里借助生命周期策略自动对数据进行降冷处理 , 从而优化存储成本 。
小胖有技能|海量数据何去何从?新一代归档存储给你想要的答案
文章图片
新一代归档存储 , 突破成本极限
在今年8月份UCloud发布了最新一代归档存储产品 , 成为了国内率先采用JBOD磁盘阵列与SMR叠瓦式磁盘介质提供公有云归档存储服务的云厂商 。 在具备分钟级别取回时效、11个9以上数据可靠性的归档存储产品中 , 突破了传统3分钱每GB每月的定价区间 , 达到了0.024元每GB每月 , 可以进一步降低20%的成本 。


推荐阅读