如果要做一个互联网金融的风险预警系统,怎么样挖掘数据把传统的金融风险预警模型引入咋样( 二 )



客户本来就没有的缺失:那么这种,例如没有贷款,那就贷款笔数这种变量就应该置0。

It失误的数据缺失,找it是否可以修复补充之前的数据,如果修复不了,转最后一点。

就是缺失:

1.在分组的时候将缺失分为一组(缺失比例大概在5%以上,假设你的建模样本5000+)
2.再多衍生一个变量,区分缺失和非缺失的特征。就是例如你有个变量叫在网时长,那么这个数据有一部分缺失了,那么你可以再衍生一个变量叫是否有在网上时长数据(缺失比例大概在5%以上,假设你的建模样本5000+)
3.删掉(几个缺失的话),变量的缺失超过70,我就直接舍弃这个变量了,前提是缺失值做衍生变量也没啥用了。
4.按照万能大法(补众数,平均值,中位数.....)补充,虽然我不喜欢,但是现实就是喜欢强迫你。

三.建模样本好坏比多少合适?

这个问题在群里说的次数不少于十次,这个问题有没有准确的答案,你现在的数据要是坏客户的特征很明显,那么你98:2都可以,但是你本身你的坏客户的特征在拥有的变量中的特征都很离散的话,那么你怎么调,效果都差不了多少。建议经验值是10%-20%的一个坏客户占比,我个人认为不用调整到1:1的程度,这里提及一点就是,模型拟合的时候,还需要验证原样本的效果,效果可取才可以认为模型效果可取。

四.变量分几组?

我先说我建议几组,我的建议是2-8组,我觉得8组都算多了,我能容忍是6组,太多组,首先是分到一组的数据太少,得出的结论担心会有偶然性,其次就是过拟合的问题。这里提及一点就是我建议分组的时候最少一组的数量至少要占到总体样本的5%。

五.怎么筛选变量?

首先说下,好的变量的中心思想是:变量对于因变量有一定的区分度。

筛选变量的方法有以下几种:

1.iv值,建议小于0.02以上的取。
2.基尼系数,这个是衡量贫富差距那个,不是决策树那个,虽然我经常搞混。
3.随机森林变量重要性,我还蛮喜欢这个方法的,因为不用分组,避免了我分组之后影响了变量的效果
4.Psi,稳定性指标,这个指标,可以当参考。
5.Person卡方统计量。

通过变量的以上5个统计量,对比大小,舍弃一部分没有明显特征的变量。

六.我要转化woe吗?

woe以及哑变量其实本质上是一样的,woe并不能增加模型的效果,只是让变量最终生成标准的评分卡方便快捷些。

七.woe为0或者为空怎么办?
首先,我们看woe的公式是什么那么该层的woe的值为0的情况是这一层没有坏客户,都是好人,那么这时候,假设你这组有5%的数据,那么这个变量直接就可以做策略啦,做啥模型啊。同样的道理,要是该层的woe为空,那么就是这一层没有好客户,全是坏人。这种woe产生的一般是很少见的,会产生这样子的情况,应该检查是不是你这组的客户数量特别少,要是不是特别少的话,那你就这时候报告领导了,你发现了一个可以做策略的变量,分到这组的客户极好(极坏)。

八.拟合的模型参数估计用那个?

拟合模型的时候有三个数据,训练数据,测试数据,验证数据。这三个数据用同一批变量会产生三组不同的参数估计。建议一下三种选取方式:

1.将这三个数据集的参数估计取出来的之后,取平均值。
2.把这三个数据合成一个之后,分成十份,分别算出参数估计之后再取平均值,第一种的升级版
3.取验证集的参数估计,因为验证集是最接近现在的时间的客户数据,可以认为这样子比较接近现阶段客户的总体特征
4.取训练数据集的参数估计,因为一般情况下,训练数据集的数据的数量是最多的,在一定程度上可以认为,数据的覆盖面比较大,可以全面提取客户的数据特征。

■网友


推荐阅读