江苏龙网

  1. 首页 > 人文 > >

金融电子化 | 农信行业分布式对象存储应用实践，实战

文/江西省农村信用社联合社谢伟
金融电子化 | 农信行业分布式对象存储应用实践，实战
文章图片
随着IT建设的快速发展和信息系统规模的不断扩大 ， 农信业务系统对非结构化数据的依赖程度越来越高 ， 非结构化数据的读写效率、扩展性、可靠性成为至关重要的课题 。 本文结合农信行业面临的数据挑战 ， 提出基于分布式对象存储的内容管理平台解决方案 。 该方案具有高效的数据读写、无限的扩展能力、完整的数据保护等特点 。 农信行业面临的数据挑战
1.读写性能瓶颈 。 农信业务系统数量庞大 ， 数据规模爆发式增长 ， 如柜面各类业务凭证、借贷业务资料、后督凭证审核等非结构化数据规模巨大 ， 已经达到百TB级 ， 甚至PB级 ， 因此对非结构化数据的读写效率、网络规模、服务器密度提出巨大挑战 。
2.横向扩展问题 。 随着互联网和云计算的快速发展 ， 分布式已经成为技术发展的趋势 ， 金融业务向移动化发展已成为必然要求 ， 但多数农信内容管理平台仍然使用集中式架构 ， 传统集中式存储架构、关系型数据库的无法横向扩展的问题日益凸显 。
3.数据安全问题 。 传统架构下 ， 为提高热点数据的读写效率 ， 多数农信使用块存储 ， 甚至磁带库作为冷数据的近线和离线备份 ， 但是因为数据长时间未使用 ， 又缺乏完整的数据校验机制 ， 数据的有效性无法保障 。 系统总体设计
针对农信行业的非结构化数据管理需求 ， 基于独立性、标准性、开放性、扩展性原则 ， 构建非结构化数据管理解决方案 ， 实现对各个业务流程的业务凭证、文档、电子邮件、视频信息等非结构化数据的集成 ， 以及差异化的生命周期管理 。
【金融电子化 | 农信行业分布式对象存储应用实践，实战】内容管理平台划分为接入层、服务层、数据层 ， 以及第三方应用系统四部分 。
接入层负责提供统一接口 ， 供前端调用 ， 成为应用系统与平台服务的交互桥梁 ， 支持数据传输、传输加密、流量控制、断点续传、通讯代理等功能；服务层作为内容管理平台的核心组成部分 ， 负责接入认证、负载管理、消息服务 ， 以及非结构化数据的存储、调阅、缓存、分发、归档、转换、OCR ， 同时对底层存储进行统一封装；数据层为数据持久化层 ， 采用分布式对象存储；第三方应用系统是指接入内容管理平台 ， 使用非结构化数据采集、存储、切片、调阅等功能的业务系统 。 技术方案特点
1.高效的数据读写 。 首先 ， 农信属于金融行业 ， 数据保留周期长 ， 一方面业务系统流程长 ， 另一方面监管要求客户数据需长期保留 ， 因此随着时间推移 ， 数据规模急速增长 。 其次 ， 多数农信内容管理平台数据层仍然采用传统的存储技术 ， 利用“在线缓存+近线缓存+离线缓存”三级架构将数据分级 ， 数据读写链路拉长 。 本方案采用分布式对象存储 ， 是海量非结构化数据存储的最佳解决方案 ， 数据层只有一级架构 ， 具备超高的读写效率 ， 系统设计和硬件配置实现了SSD+HDD混合架构 ， 既发挥了SSD的IOPS和吞吐的优势 ， 又发挥了HDD的容量和价格优势 ， 是目前广泛采用的存储架构 。
2.无限的扩展能力 。 本方案具有非常灵活的扩展性 ， 接入层、基于Ceph内核开发设计 ， 分布式哈希数据分布算法、分布式无状态客户端、分布式缓存 ， 高效计算出数据的存储位置 ， 服务层采用无状态的分布式微服务架构 ， 数据层采用分布式对象存储 。 该架构理论上具备无限横向扩展能力 ， 天然支持多活 ， 无备份容灾场景风险极低 。
3.完整的数据保护 。 （1）多副本机制 。 为提高数据存储的可靠性 ， 底层磁盘采用多副本技术 ， 理论计算和模拟实验表明 ， 在典型的3副本机制下 ， 不少于30个磁盘的系统中 ， 数据一年内的可靠性可以达到11个9的水平 。 （2）数据强一致性 。 本方案采用分布式对象存储 ， 利用Paxos和Lease机制保证数据的一致性 ， 任何用户读到的数据一定是最近一次成功更新的副本数据 。 （3）Scrub扫描机制 。 利用Scrub机制检查数据 ， 通过后台定期扫描 ， 比较一个对象分别在各个副本的元数据和数据来检查数据是否有效 。


推荐阅读


上一篇：娱乐那些事儿 CC发布，再造价格屠夫！，骨传导耳机新势力，南卡Runner

下一篇：小马说世界1 如何攒出更适合你的主机？，多版本十代酷睿桌面版