当variables“很多”且observations也很多的情况下,适合用哪种数据挖掘的方法
处理过kaggle类似数据,是16年5月s** bank的,也有将近300的features。个人感受是,XGB和random forest简直就是神器。甭管feature有多少,直接上,函数本身可以解决feature筛选机制。论坛上也有人说会把贡献低的feature去掉,个人表示质疑。首先去掉不一定增加模型的预测效果;其次,就算增加了,没准只是幸存者; 第三,实际工作中可能没必要为了这个微小的提升增加工作量; 最后,理论上,在样本足够大的情况下,模型选择的比较好的情况下(boosting或者emsemble一般都可以)无用feature很难对结果产生影响。
■网友
建议现在全量variable上train,我曾经尝试了把为常数的变量去掉,但是分数并不好。试试xgboost( when id doubt, try xgboost)。使用xgboost拿到的最高分是0.9683,LB排名目前在40名,目前正在做更进一步的数据分析和清洗,建议楼主多尝试,会有惊喜的
■网友
降维多多少少丢失了一些信息,预测结果未必就好,如果数据量不够大,降维甚至更花时间,对提高效率无益,还不如选择一个合适的算法。
■网友
我发现自从用了xgboost 人都变懒了,所有feature 一起扔进这个黑箱,也不降维,也不做selection. 全靠xgboost 自己去找哪个重要了。
推荐阅读
- 最近看到很多微邦克的宣传,可信吗,和微众银行啥关系啊
- |很多人用燕麦当早餐,燕麦是热性的还是凉性的?
- 现在在线学习视频有很多了,为啥大部分人还是喜欢下载下来观看
- “我不在了,我的眼睛还能看世界!”很多杭州人熟悉的“明星的哥”病重,他做了一个决定
- 一粒尘埃的尘|为何很多新车不再设计“雾灯”,雾灯不重要吗?
- 智叔|很多家长还在整箱买:谈谈关于牛奶的17个真相警惕这些列入黑名单的“假牛奶”
- 孩子|小孩发烧的处理方法有物理降温与药物退烧!但很多新手父母不会
- 国内|国内公认隔音最好的4款车,很多人买了都不后悔,幸好没买错车
- 怎样评价苏宁易购818
- 和比自己强很多的人交流,备感压力
