江苏龙网

  1. 首页 > 资讯 > 科技 > >

阈值金融科技讲堂之三｜金融企业如何在大数据中进行异常检测（一）


北京联盟_本文原题：金融科技讲堂之三｜金融企业如何在大数据中进行异常检测（一）
作者| 边际实验室
异常检测是当今金融企业的当务之急 ， 但在内部设计和构建一个真正有效的监测预警系统是一项复杂的任务 。
对于金融企业的数据业务来说 ， 对市场数据、客户交易数据、营销数据等进行分析 ， 并寻找可能的异常情况已经成为一种业务需求 。 大多数金融企业已经使用数据分析业务的进展、发现数据中的异常 ， 以节省成本或创造新的业务机会 。 这是当前技术的一种发展方向：通过数据和指标驱动来衡量当前的业务状态 。
自动异常检测是一种较为复杂的机器学习技术 。 可能有成百上千甚至上百万的标准可以帮助金融企业确定现在正在发生的情景 ， 并且与它过去所看到的或者它期望在未来看到的情景相比较 。 使用正确预警监测模型的企业甚至可以发现最细微的异常 ， 但是没有使用正确模型的公司可能会遭遇“误报风暴” 。 如果无法发现大量的异常情况 ， 往往会出现大规模的收入损失、客户投诉、机器故障或商机错失 。
为什么金融企业需要异常检测
在上亿条数据中进行异常检测十分复杂并充满技术挑战 ， 那么为什么我们还要这样做呢？
在金融市场高速运转的业务中 ， 许多事情在同时发生 ， 不同的人或角色负责监视这些活动 。 例如 ， 在系统后台 ， IT团队仔细监视网络、服务器、通信链接等的操作和性能 。 在应用层级 ， 一个完全不同的监控小组监视其他的类别因素 ， 如市场数据传输速度、达成交易时间或用户体验等 。 在业务层级 ， 相关业务人员根据客户交易的特征来分析产品 。
某一领域的异常可能会影响到其他领域 ， 但如果不从整体层面分析这些指标 ， 就可能永远不会产生关联 。 这就是大型异常检测系统应该做的 。
我们拿一个电子商务公司销售礼品卡得到事件作为说明 。 我们可以看到 ， 在红框内 ， 礼品卡的销量发生了增加 ， 但礼品卡的预期收入却相应发生了下降 。 造成这个结果的原因是定价发生了错误 。 如果不把这两个指标放在一起看 ， 就很难理解 ， 如果不及时发现并处理业务事故 ， 可能会让公司损失很多钱 。 这两个指标之间的关系如下图所示 。
阈值金融科技讲堂之三｜金融企业如何在大数据中进行异常检测（一）
本文插图

随着业务的增长 ， 越来越多的事件无法被检测到 ， 除非有一个异常检测系统来分析金融企业每个业务可以使用的指标 。
如今 ， 大多数金融企业更加依赖于手工检测异常事件 。 这有两种主要的方法:其一是创建仪表板,创建每日/每周市场或交易报告,专人关注这些指标的上升或下降 。 然后他们调查任何看起来不正常的数据 。 显然 ， 这种方法所覆盖的不能超过十几个关键指标 。 这会是金融企业方便地发现重大异常 ， 但会错过许多较小的事件 。 此外 ， 这需要监控人员知道自己要寻找什么 ， 这样他们就会错过那些他们没有想过要跟踪或分析的东西 。 第二种方法是使用一个自动化系统,为每个指标设置上、下阈值 。 如果数据超出这些阈值 ， 就会生成警报 。 这种方法的缺点是 ， 设置这些阈值非常复杂 ， 因为必须为每个指标设置阈值 ， 如果有成千上万个指标 ， 则很难设置阈值 。 设置阈值需要对每个指标随时间变化的行为有一个复杂的理解 。 此外 ， 如果阈值过高或过低 ， 可能会出现大量的假警报 ， 或者相反 ， 出现大量漏掉的异常值 。 总之 ， 通过设置阈值来发现异常是一项不切实际的工作 。
因此 ， 解决方案是自动异常检测 ， 即计算机查看这些数据 ， 自动、快速地筛选这些数据 ， 指出异常行为 ， 并对其发出警报 。 这说起来容易做起来难 ， 因为计算机需要被告知 ， 与正常活动相比 ， 异常是什么 。 这就是机器学习的用武之地 。


推荐阅读


上一篇：：世界未解之谜(宇宙之谜)：宇宙为什么在不断地膨胀

下一篇：：索尼PS5 DualSense手柄价格刚刚被泄露出来