GBDT 怎样处理高维度稀疏特征高维稀疏特征

高维稀疏特征的时候，lr 的效果会比 gbdt 好，为什么？这个问题我也是思考了好久，在平时的项目中也遇到了不少 case，确实高维稀疏特征的时候，使用 gbdt 很容易过拟合。但是还是不知道为啥，后来深入思考了一下模型的特点，发现了一些有趣的地方。假设有1w 个样本， y类别0和1，100维特征，其中10个样本都是类别1，而特征 f1的值为0，1，且刚好这10个样本的 f1特征值都为1，其余9990样本都为0(在高维稀疏的情况下这种情况很常见)，我们都知道这种情况在树模型的时候，很容易优化出含一个使用 f1为分裂节点的树直接将数据划分的很好，但是当测试的时候，却会发现效果很差，因为这个特征只是刚好偶然间跟 y拟合到了这个规律，这也是我们常说的过拟合。但是当时我还是不太懂为什么线性模型就能对这种 case 处理的好？照理说线性模型在优化之后不也会产生这样一个式子：y = W1*f1 + Wi*fi+….，其中 W1特别大以拟合这十个样本吗，因为反正 f1的值只有0和1，W1过大对其他9990样本不会有任何影响。后来思考后发现原因是因为现在的模型普遍都会带着正则项，而 lr 等线性模型的正则项是对权重的惩罚，也就是 W1一旦过大，惩罚就会很大，进一步压缩 W1的值，使他不至于过大，而树模型则不一样，树模型的惩罚项通常为叶子节点数和深度等，而我们都知道，对于上面这种 case，树只需要一个节点就可以完美分割9990和10个样本，惩罚项极其之小.这也就是为什么在高维稀疏特征的时候，线性模型会比非线性模型好的原因了：带正则化的线性模型比较不容易对稀疏特征过拟合。引用自CSDN，侵删。

■网友
【GBDT 怎样处理高维度稀疏特征】 面对这个问题，感觉可以尝试一下微软的DeepGBM，分别将类别特征，和连续特征转化成两个不同的NN来处理，具体内容看查阅下文：
质数：从LightGBM到DeepGBM：看深度版本的GBM如何炼成

■网友
树模型不用one-hot也没什么影响
■网友
对于这种类别特征特别多的情况，可以尝试一下 factorized machines。

GBDT 怎样处理高维度稀疏特征

推荐阅读

卧室禁忌风水卧室禁忌风水有哪些

人民日报客户端广西频道|官宣！今年“南马”暂停线下赛事，改为线上举行

发型|15位美女这样换发型，效果很不错，值得大家借鉴

柳承敏发球有多转？柳承敏发球是如何发的

「」什么人不能喝蒲公英

金戈鐡马|地下深藏2000枚导弹，距离中国仅900公里

『赚钱做生意TB』在人微言轻时，这3件事不要做，否则，容易“自取其辱”，一个人

心理测试|心理测试：凭感觉选一片花海，测你适合什么样的工作？

养生沈医师|勿忽视，有可能大肠癌可能已经找上门了，大便若是有以下四个特征

『护肤小助理』都是夏天惹的祸——盘点太阳直射下的皮肤问题

芹菜怎样长时间储存

#上海证券报#百亿级梯队增至40家，证券类私募分化加剧

一根擀面杖，赶走“大象腿”！擀面杖减肥法

伯乐观影|发性感泳衣照王思聪评论说男人出轨不奇怪，小三网红

弘宁堂|处女座，十二星座爱情为什么走不到终点原因之

『盛锐科技视野依正』美国为何最终成为疫情最严重国家呢？

[懒妈妈的带娃生活]再次怀孕要间隔多久？

逗儿妈妈|让孩子学会表达想法，孩子沉默寡言少语？父母善用“门把手语言”

许栗木变美记|不仅显廉价，上身还很“掉价”，女人出门最好少穿这4种裤子

国内出版过啥优秀的画集