可以自我进化的AI，已经在敲人类的门了 _AI

作者｜腾讯科技郝博阳

文章插图
我造我自己
AI威胁的核心：自我进化的速度
关于AI可能带来的威胁在过去几个月的时间中已经让人有点疲惫了。从业界大佬马斯克、山姆奥特曼，到学术界巨擘杰弗里·辛顿，约书亚·本亚吉都多次表达了对AI威胁的强烈恐惧。但同时，以杨立昆为代表的很多AI的研究人员和从业者都对此威胁不屑一顾，认为这不过是一种科幻式的夸张。
两种观点争议的核心在于：我们是否有可能控制AI和对它的应用。如果在人工智能超越人类智能时我们还是找不到合理的和它对齐，对它限制的方法的话，那它就很可能会陷入失控。
乐观主义者们认为当下的AI离完善的AGI还尚有不小的距离，远没有达到超过人类的智能水平。因此在发展AI的期间我们完全可以通过寻找人工干预对齐的方法，控制AI发展的方向。另外，因为现阶段训练AI必须通过人的参与才能完成，因此人类可以随时停止它。
然而对悲观主义者而言，也许我们已经没有这个时间了。过去几年来AI的发展突飞猛进，作为深度学习之父的辛顿都多次表达被震惊之感。他告诉《纽约时报》：“看看五年前和现在的情况。这种前进的速度这太可怕了。”
但这还不是最快，因为AI还面对着一些速度瓶颈。其中最要命的就是无法靠算力加速的人工对齐工作。但如果有一天，它能突破人工参与这个限制会发生什么呢？一个完全可以自我进化的AI 。
对此，MetaLab的 Tamlyn Hunt 曾在《科学美国人》上撰文称：人工智能算法将很快达到快速自我完善的地步。这威胁到我们控制它们的能力，并对人类构成巨大的潜在风险。提出暂停AI实验建议的Tagesmark也在之前参与Lex的播客时，表达了同样的观点：如果这一自我完善能够被做到，AI进化的速度将大幅加快，而且也会基本完全脱离人类的控制。
按照他们的观点，一旦AI跨过自我进化的速度这个门槛，那些乐观主义的论点也就不再有效。AI加速进化，失控就在眼前。
那可以自我进化的AI到底离我们还有多远？现在看来已经近在咫尺了。
自我进化的AI，已经徘徊在门前
在当前的AI训练中，为什么人工是不可缺少的？
完成一个大语言模型需要经过三个阶段：预训练、提示微调和强化学习。前两个阶段目前可以完全依靠给定的数据集由AI自行完成。但如果想要AI的回答准确更可理解，更符合特定需求，还需要一个重要的步骤——即来自人类反馈强化学习（RLHF）。在这一过程中，人类标记员与预训练的模型对话，提供对话样本让模型生成一些回复。之后标记员会对回复选项打分排名。最后把这个结果反馈回模型中，以强化它的奖惩算法。这也是GPT4和ChatGPT相对于GPT3最重要的一个策略升级，通过RLHF，OpenAI很大地提升了给模型的回应质量和能力。
这个RLHF，也就是强化学习的步骤就是之前在主流大语言模型训练过程中还无法被AI自主接管的唯一步骤。
【可以自我进化的AI，已经在敲人类的门了】为什么说之前，因为现在AI也能做到了。

文章插图
AI研究者表示：完了
在google的新论文“RLAIF:Scaling Reinforcement Learning from Human Feedback with AI Feedback”测试了一种革命性的新技术，使AI系统能够通过使用其他AI的反馈来递归地改进自己。
这种新技术被称为RLAIF（AI反馈强化学习）。它并非本文作者独创，而是在之前被其Anthropic的研究者提出的一个概念(Gilardi et al., 2023; Ding et al., 2023). Bai et al. (2022b) 。他们用这RLAIF 和 RLHF 结合形成一个综合的Constitutional AI，用于融合人类和AI提出的偏好应用在微调上，为微调提效。但这一工作并没有直接比较AI的反馈和人类反馈的效果。本文作者这一次就单独让AI作为反馈强化的唯一参与者，测试其效果。
作者限制了一个相对较窄的使用场景：用强化学习来训练人工智能系统的文本摘要能力——即产生从较长文章中捕捉关键点，来进行简明摘要。具体实验如下：
给定一个经过监督微调（SFT）的大语言模型（在本实验中是OpenAI开源的Reddit TL;DR数据集进行的预训练）。RLHF的处理流程是：
1. 让被训练的语言模型都为给定的文章生成文本摘要
2. 人类标注师对比较并评估几对总结，判断哪一个总结更优秀