InfoQ一个数据挖掘者的自我修养：数据科学家头衔很光鲜，但全栈工程师才是本质( 四 )

开源的挑战开源正在吞噬软件，对金融行业也不例外。聚焦金融数字化转型这些年，张磊见证了技术的变迁，在他看来，如今企业级大数据解决方案所采用的核心技术和架构，和过去相比已经有很大的不同。其中最为突出的一点是开源的吸引力越来越大，企业在技术选择上逐渐向开源倾斜。

十年前：金融行业还是数据仓库的天下，屈指可数的几家国外知名厂商牢牢占据了这部分市场份额，十大数据主题 /ETL/ 报表查询和 OLAP 是数据分析平台建设的核心，以 MPP 架构为主流，分析软件采用 C/S 架构；
十年后：数据仓库的地位日趋微弱， Hadoop 集群（Spark、Flink 可视作 Hadoop 生态圈的一部分）成为数据管理平台的核心，以 Python 为代表的开源软件引领分析工具的潮流，技术的选择强调生态圈，分析结果的应用更多基于 Web 服务调用。

从 2006 年 Doug Cutting 开源大数据经典框架 Hadoop 到现在，大数据领域已经形成了一整套相当活跃的开源生态，有非常多成熟的开源工具。张磊坦言，开源给商用解决方案带来了很大的挑战，这种挑战态势已经从十多年前的“小荷才露尖尖角”变成了现在的“楚汉相争” 。
十年前张磊与大部分银行客户交流，偶尔能碰到一两个用户使用开源的 R、MySQL 等工具来做数据分析；最近一两年在国有大型银行的分析团队里，使用 Python、Spark 等开源工具来做数据分析的甚至占到了一半。
张磊认为开源日益强大最主要的原因还是在于“生态圈” 。正如乔布斯借助 iPhone 让苹果公司再次辉煌一样，全球亿万用户成为 iPhone 忠实粉丝的关键原因并非手机外形酷炫和性能强大， AppStore 所打造的生态圈才是真正能圈住用户的那个圈子。如果你想到和没想到的功能，都有人给你开发出来，而且还有越来越多的人加入开发的行列，就像拥有数百万人为你提供支持，这是每位用户梦寐以求的情景。对于数据分析人员来说，开源社区带来的也是这种效应。当你碰到一个业务问题不知如何下手时，当你遇到一个程序 Bug 不知如何解决时，当程序运行太慢不知道如何提高性能时，当你碰到中文乱码如读天书时，当你需要一个新的软件功能时……你都能很轻松地通过搜索引擎、GitHub、Kaggle 等网站快速得到解答。解决问题变得格外快捷和方便，这是使用商用解决方案无法比拟的。
生态圈一旦打造起来，就会出现强者愈强弱者愈弱的场面，而且通常很难扭转。众人拾柴火焰高，好汉架不住群狼，仅靠一两家商业公司是无法和庞大的开源社区力量抗衡的。
那提供企业级数据解决方案的公司要怎么去应对开源带来的挑战呢？人们面对挑战常常会采取两种对策：要么打，要么逃。在张磊看来，还有第三条路，就是化敌为友。为什么不可以考虑将商用解决方案与开源平台相融合呢？接受开源发展的潮流，取长补短，商业公司依然会有自己的容身之地。
张磊目前任职的索信达就一直紧跟开源技术的发展，无论是 MySQL、Hadoop 等开源数据平台，还是 TensorFlow、PyTorch 等开源分析框架，都融入到其对外提供的一系列解决方案之中，覆盖精准营销、规则引擎、场景库、模型工厂、客户微细分、可解释机器学习等多个领域。此外，今年索信达积极投身国产数字化生态，与华为积极展开合作，在华为云 ModelArts 平台上发布了首个金融营销模型——客户微细分，树立行业标杆并得到了华为和头部金融客户的认可。
未来展望二十年间，大数据已经从星星之火变成燎原之势，而“新基建”会让大数据的火越烧越旺。
张磊表示， “新基建”和大数据行业密不可分，要实现信息融合，大数据基础设施和数据生产必不可少，要实现智能化，也需要基于大数据的深入分析。因此，随着“新基建”等国家战略的推行，大数据行业会越来越重要，发展也会越来越快，高速度和高加速度都是可预期的。