当variables“很多”且observations也很多的情况下,适合用哪种数据挖掘的方法

处理过kaggle类似数据,是16年5月s** bank的,也有将近300的features。个人感受是,XGB和random forest简直就是神器。甭管feature有多少,直接上,函数本身可以解决feature筛选机制。论坛上也有人说会把贡献低的feature去掉,个人表示质疑。首先去掉不一定增加模型的预测效果;其次,就算增加了,没准只是幸存者; 第三,实际工作中可能没必要为了这个微小的提升增加工作量; 最后,理论上,在样本足够大的情况下,模型选择的比较好的情况下(boosting或者emsemble一般都可以)无用feature很难对结果产生影响。
■网友
建议现在全量variable上train,我曾经尝试了把为常数的变量去掉,但是分数并不好。试试xgboost( when id doubt, try xgboost)。使用xgboost拿到的最高分是0.9683,LB排名目前在40名,目前正在做更进一步的数据分析和清洗,建议楼主多尝试,会有惊喜的
■网友
降维多多少少丢失了一些信息,预测结果未必就好,如果数据量不够大,降维甚至更花时间,对提高效率无益,还不如选择一个合适的算法。
■网友
我发现自从用了xgboost 人都变懒了,所有feature 一起扔进这个黑箱,也不降维,也不做selection. 全靠xgboost 自己去找哪个重要了。


    推荐阅读