技术编程|机器学习之Hyperparameter Tuning
机器学习时模型训练非常简单 ， 将数据分成训练集（training set）和测试集（testing set） ， 用training set训练模型 ， 然后将模型应用到testing set上评估模型的好坏 。
怎么优化模型 ， 使得模型更加稳定有效呢？
方法是超参数优化（Hyperparameter tuning） 。 比如我们有3个hyperparameter ， 每个Hyperparameter可以设置3个数值 ， 这样我们就可以得到3X3X3=27个组合 ， 然后用相同的训练集分别训练27个模型 ， 将这27个模型分别应用在testing set上 ， 就可以比较出那组Hyperparameter组合比较好 。
但是 ， 当我们把模型应用到真实场景的时候 ， 往往会发现模型效果比在testing set上差很多 。 为什么会出现这样的问题呢？原因是我们调整参数的时候都是用的一套testing set ， 所以我们选择的参数只是适应这个特殊的数据集 。 这时候validation set就该上场了！
这次数据就不能只分为训练集和测试集了 ， 而是在训练集和测试集之外再分出验证集（validation set） 。 在Hyperparameter tuning时将训练的模型应用到validation set上挑选出最好的Hyperparameter 组合 ， 然后将最好组合的模型应用到testing set上 ， 得到模型的最终效果 。
这时候另外一个问题出现了 ， 由于我们这次将模型应用在一个固定validation set上 ， 而validation set 有可能太大或者太小 ， 这次得到的模型很有可能不是模型的最优解 ， 怎么办呢？我们可以用k fold cross validation来解决这个问题 。 如下图 ， 首先将数据分为训练集和测试集 ， 训练集再分为k份（例子中是5份） ， 模型训练的时候用其中的k-1份作为训练集 ， 用剩下的一份数据作为验证集 ， 这样训练k个模型 ， 将k次建模结果的平均数作为这个Hyperparameter组合的最终结果 ， 这样得到模型的最优解 。
本文插图
【技术编程|机器学习之Hyperparameter Tuning】
推荐阅读
- 电池技术,相机发烧|防爆相机多少钱能买到？
- 行业互联网|深圳第22届高交会闭幕：一大批新技术新成果集中亮相
- 机器人|梅卡曼德机器人获得近亿元人民币B+轮融资
- 电池技术|动能转换看烟台｜有锂电池的地方就有创为
- 行业互联网|2020十大新兴技术揭晓！每一项都可能颠覆我们的生活
- 行业互联网|英国运输技术论坛发布网络安全标准和指南摘要
- 钉科技|“选择性过滤”太难?方太“死磕”8年突破净水技术
- 中国新闻网|告别各自为营，梧桐车联宣布开放系统“技术底座”
- 腾讯|腾讯举办科学脱口秀X-Talk，聚焦人工智能、基因编辑等前沿技术
- |「推仔说新闻」NVIDIA曝光CPU+GPU加速技术 支持两家处理器