成分学习是机器学习的未来 _成分学习

文章插图
> Source

机器学习距1950年代已经走了很长一段路，当时，人们设计了用于简单机器学习算法的统计方法，并引入了贝叶斯方法进行概率建模。接近二十世纪，基于艾伦·图灵（Alan Turing）在计算机技术上的进步，对支持向量机和基本神经网络等模型的研究随着反向传播的发现而激增。几年后，大规模计算的可用性已被大规模的神经网络所取代，这些神经网络可以在围棋上击败世界冠军，产生逼真的艺术并进行阅读。从历史上看，机器学习的进步一直受到计算能力的推动。
随着在经典计算中使计算机芯片变得越来越强大的动力开始枯竭（位接近它们可能的最小分子大小），机器学习开发不再能够依靠计算能力的稳定增长来开发更强大的功能。和有效的模型。作为响应，机器学习正在转向成分学习。
成分学习基于这样一个想法，即一个模型无法做到所有。当深度神经网络仅用于一项任务（例如，识别恶性或良性癌细胞或将图像分类为狗或猫）时，它们可以表现良好。不幸的是，在神经网络中已经观察到的事情是它们只能很好地完成一件事。随着人工智能的应用日益复杂，单一的神经网络只会越来越大，这说明了神经元越来越多的新并发症。
如前所述，这种持续增长的能力已经到了死胡同。通过将这些神经网络中的几个进行组合以执行完整任务的各个部分，该模型作为一个整体，在执行这些复杂任务时会表现得更好，同时又保持了合理的计算空间。当一项任务分解为多个神经网络时，每个单独的网络都可以专注于各自的领域，而不是需要全部由一个网络覆盖。这类似于要求总统（或总理）在劳动，国防，卫生和其他部门秘书的支持下做出决定。
例如，考虑以下任务：为高档餐厅创建一个与用户互动的聊天机器人，该聊天机器人可以执行常见的任务，例如查询菜单或进行预订，以及进行闲聊。

文章插图

对话可以清楚地分为三个部分：欢愉和闲谈，信息检索和行动。我们可以选择一个更分布式的系统，而不是采用一个机器学习模型来处理以前的交互并输出响应，

文章插图

一个神经网络可以推断出手头有什么任务-如果用户正在引导对话，期望获得愉悦，信息或行动，则将任务分配给专门的网络。通过使用分布式模型而不是诸如编码器-解码器网络或文本GAN *之类的东西，可以实现两个好处：
· 精度更高。由于将任务委派给三个单独的模型，每个模型专门研究自己的领域，因此提高了模型的性能。
· 更快的运行时间。尽管训练分布式模型通常比较困难，但是进行预测时分布式模型要快得多，这对于需要快速响应的项目来说必不可少。这是因为可以将分布式模型视为"分裂"奇异模型，因此信息仅通过与当前任务有关的有用神经元传递，而无需流经整个网络。
*编码器/解码器网络和GAN由多个网络组成，也许可以将其视为组成模型本身。在这种情况下，仅将它们视为单数是因为组合模型在其上扩展以使其更有效。所描述的结构化构成模型更多是"构成-构成模型" 。
或者，考虑使用GAN（生成模型）代替传统的数据增强方法，该方法在许多情况下不适合上下文并提供过多的有害噪声。通过不断将新生成的GAN数据汇入模型，解决了两个问题：
· 类标签不均匀。数据收集的一个巨大问题是模型倾向于以与标签中相同的比例进行预测。如果cat-dog数据集中75％的标签为" dog"，则模型也会在大多数情况下建议使用" dog" 。通过使用GAN，可以创建其他图像来消除类不平衡。
· 过度拟合。GAN通常是通过数据扩充来解决的问题，它提供了一种在通用上下文数组中表现更好的解决方案。例如，名人脸部的扭曲可能会导致图像无法与其类别联系在一起。另一方面，GAN提供了过拟合所需的其他变化，并且可以更有效地提高模型学习的效率。