xgboost为啥也会出现过拟合

xgboost为啥也会出现过拟合

quote from Andrew Ng “machine learning advice”除了你说的调整正则系数,可以加更多的训练样本,减少特征数(特征选择)。另外我自己经验,可以分析下特征设计和样本的采样选择设计
■网友
正则不能完全避免过拟合,样本里噪音的特征比如果比较强,正则并不能去除噪音。(或者连真实的分布特征也会被去除)
【xgboost为啥也会出现过拟合】 针对xgboost,减少过拟合可以通过增大gamma,降低tree depth,减少树的数量。 还有subcolumn subsample这两个参数也可以一定程度减少过拟合。
另外一切都通过crossvalidation来检验。

■网友
过拟合是必然的客观存在 只能尽量避免,没有不过拟合的时候 never
■网友
可以看看SofaSofa上的讨论
xgboost有正则项为什么还会过拟合呢?-SofaSofa


    推荐阅读