在使用线性模型时,怎样确定使用哪些交叉特征

你可以打出来那种lable分布的热图,就是p(y|X1,X2),看两两特征之间的关系。选那些有明显规律的交叉。
■网友
如题主所言,线性模型的学习能力有限,非线性数据对于线性模型来说是一个灾难。特征组合可以在一定程度上改善这一现象(对数据做线性变换)。单“合理”的特征组合并不容易寻找。
可以通过非线性模型来寻找合理的特征组合,这样的特征组是自动化的筛选出来的,具有理论的区分性,比如GBDT。
GBDT的本质是决策树,而决策树是非线性模型,通过GBDT每次对于残差的学习,找出更有区分性的“特征组合”,把这些特征组合作为线性模型的输入特征来训练数据。思路来源于FaceBook的一篇论文:
He X, Pan J, Jin O, et al. Practical lessons from predicting clicks on adsat facebook. Proceedings of 20th ACM SIGKDD Conference on KnowledgeDiscovery and Data Mining. ACM, 2014: 1-9.
【在使用线性模型时,怎样确定使用哪些交叉特征】 至于如何确定哪些交叉特征,可以尝试一下FM模型,将离散特征交叉化,再将交叉化的特征输入到LR之中。

■网友
使用线性模型主要问题在于数据本身是否基本是线性可分的。如果数据不是基本线性可分的,线性模型的效果就不好。如果一定要使用线性模型,可以考虑引入高阶的项,比如x^2,x^3,或者你说的交叉特征,相当于作了线性变换。线性变换以后数据可能基本是线性可分的。具体如何选择特征,这个和问题本身有关系,很多人都在研究如何使用更好的特征。需要阅读相关专著或论文。这叫“人工提取特征”。你还可以输入原始数据,让计算机“自动提取特征”,但是算法更加复杂。可以参看我的这个回答的后半部分请教一个关于(计算机或数据科学的)名词的问题,以下名词或概念之间有什么关联么?
■网友
FM算法是一个基于矩阵分解的模型 可以将两两或者更多特征交互加入到模型中


    推荐阅读