2017~2019年实现历史数据存储系统、影像系统等集中式架构向大数据平台分布式架构迁移,基于分布式框架构建了在线精确查询、离线批量加工、实时流处理、内容管理、大数据智能分析等5个基础应用平台 。通过分布式消息平台,实现应用级的数据交互,支撑了交易风险控制、客户精准分析、人工智能等创新型应用,实现了借记卡风险预警的实时流处理,践行了数据即服务的管理理念,有效提升了业务处理效率 。
截止目前,大数据平台共接入系统68个,存储结构化、非结构化数据217TB,为30个业务应用,135个联机交易提供应用支撑,日交易量20万笔,真正实现业务数据前、中、后台之间串联,让沉睡的历史数据在分析系统中“活起来”,消除技术壁垒和数据孤岛,充分发挥数据资产的价值 。
3.规划基础云平台建设 。2017年上海农商银行按照“云数据中心”理念,规划基于分布式的Paas金融云基础架构,开展基于Docker和Kubernetes技术预研,同时践行DevOps的理念,进行了容器云的系统规划、场景设计、产品选型和POC测试 。实践过程中,坚持从实际业务需求出发,将实际需求与容器云最佳实践相结合,在微服务、应用容器化改造、弹性扩展、灰度发布等方面,进行了深度研究和实践 。通过基础云平台的研究实践,确定了我行践行强健稳定、弹性伸缩、开源开放的基础架构平台的技术路线,为后续的PaaS平台建设提供了坚实的技术支撑 。后续还将开展网络SDN对接、存储自动化管理、PaaS平台对接等工作 。
4.分布式数据库研究和试点 。在实现架构转型过程中,必须实现数据持久化层的分布式,但这恰恰是分布式架构中技术难度最大、最为关键的部分 。2018年上海农商银行开展分布式数据库技术的探索和研究试点,对事务一致性控制、集群高可用切换、联机在线重分布、数据库备份、恢复以及分布式事务控制能力、日终批处理能力、在线扩容能力、问题诊断能力、并发处理能力等关键能力进行了技术验证 。2019年底筹备成立联合创新实验室,开展分布式数据库的关键技术预研以及应用试点工作 。
展望与挑战2020年,上海农商银行将践行数字化转型战略,通过数据中台、业务中台、智慧中台建设,进一步完善“开放性、高容量、易扩展、低成本、高可靠”的分布式技术体系,逐步实现企业级分布式能力建设,持续提升分布式技术平台的业务支撑,继续分布式架构转型之路 。
然而,中小型商业银行在推进分布式转型方面仍然存在不少挑战,需要在以后的实践过程中创造性解决 。
基础平台建设方面:缺少开箱即用、适应分布式架构、体系性的解决方案,在很多领域,银行业金融机构仍需依托开源产品自行定制开发,对开源产品和底层技术掌控的深度有待加强 。
应用转型方面:商业银行长期的发展中积累了大量软件资产,转型过程需要投入大量的人力资源,分布式转型与业务创新的平衡难度较高 。
安全生产方面:分布式技术本身以及人员相关技能都需要一个逐步完善和成熟的过程,对生产稳定运行也带来挑战 。因此,商业银行在面对纷繁复杂的业务场景时,需要在实践中创造性地解决各类问题 。
推荐阅读
- 一个白帽SEO优化案例猜想,5个月做到百度权重4,收录2万+页面
- 全国灵异事件真实案例开的闹鬼事件 著名闹鬼事件
- 分布式微服务中的第三方系统交互规范
- 什么是分布式和微服务
- 分布式锁的三种实现方式
- 9种分布式ID生成方式,总有一款适合你
- 什么是面向接口编程
- 分布式系统架构之构建你的任务调度中心
- 三分钟快速搭建分布式高可用的Redis集群
- Java 分布式任务调度平台:PowerJob 快速开始+配置详解