GenAI成功道路上的十个“坑”

想要实现生成式人工智能(GenAI)?是个好消息!大多数IT决策者都看到了这种变革性技术的潜力,您可以将自己视为其中之一 。虽然GenAI有可能为业务增加显著的效率,但它也带来了一系列必须克服的挑战 。

GenAI成功道路上的十个“坑”

文章插图
以下是实施GenAI的十大挑战,按重要性降序排列 。
1、错误数据实施GenAI的最大挑战是糟糕的数据 。如果不能确认数据是正确的 , 它的来源迭代是精心规划,并保证是安全可靠的,那么你在开始之前就已经落后了 。
虽然我们似乎生活在一个全新时代,人工智能时代将使你最疯狂的梦想成真!那句古老的格言“垃圾进,垃圾出”仍然是真理 。
数据是GenAI的核心,数据管理则可能永远是一个挑战 。但也有积极的发展,从15年前大数据热潮的早期开始,公司就一直在努力理顺他们的数据基础,以便可以在此基础上构建更大更好的东西 。
在数据管理方面的投资现在正在为这些公司带来回报,因为由于GenAI的数据质量优于平均水平,这些公司处于有利地位,可以立即利用GenAI 。
2、法律及合规事项你可以合法地使用人工智能做什么 , 不能做什么,目前是一个有争议的问题 。新的法律法规正在制定,以限制组织使用人工智能的程度 , 因此,当涉及到人工智能的商业采用时,我们处于某种灰色地带 。
欧盟正坚定地朝着一项相当严格的法律迈进 。这部被称为《人工智能法案》(AI Act)的新法律可能会禁止最危险的人工智能形式,比如公共面部识别,并要求公司在使用其他侵入性较小但仍有潜在危害的用途时获得批准,比如将人工智能用于招聘或大学录取 。
美国在监管人工智能方面正在追赶欧盟同行,美国总统拜登去年10月签署了一项行政命令,指示联邦机构开始起草相关规定,但这些规定不具有法律效力 。
这种法律上的模糊性引起了大公司的担忧,它们不愿投入大笔资金来实施一项面向广大外部领域的人工智能技术,因为这项技术可能在推出后不久就被取缔或受到严格监管 。出于这个原因,许多人工智能应用都是针对内部用户的 。
3、算力不足用户不仅需要强大的GPU来训练GenAI模型 , 还需要它们来进行推理 。对高端英伟达GPU的巨大需求远远超过了供应 。对于那些有足够资金在云端购买或租用GPU的大公司以及英伟达的股东来说,这是件好事,但对于需要GPU时间来实施GenAI的中小型公司和初创公司来说 , 就不那么美好了 。
GPU的“大排队”不会很快缓解——当然包括在2024年上半年 。虽然英伟达及其竞争对手正在努力开发新的芯片设计 , 以更有效地训练和运行LLM(大语言模型) , 但设计并将其投入生产还需要时间 。
许多公司不再运行LLM , 而是转向运行较小的语言模型,这些模型不像大型模型那样需要庞大资源 。也有人努力通过压缩和量化来缩小LLM的大小 。
4、透明度和可解释性透明度和可解释性甚至在GenAI成为公司董事会讨论话题之前就已经是问题了 。就在五年前,公司还在努力思考如何处理深度学习(DL),这是机器学习(ML)的一个子集 , 它使用神经网络技术从大量数据中找出模式 。
在许多情况下,公司选择基于更简单的机器学习算法投入生产系统,即使深度学习产生了更高的准确性 , 因为他们无法解释深度学习系统是如何得到答案的 。
支撑GenAI的大型语言模型(LLM)是神经网络的一种形式,当然,是在庞大的数据语料库上进行训练的——在GPT-4的例子中 , 基本上是整个公共互联网 。
在解释LLM如何得到答案时,这就构成了一个大问题 。没有直接的方法来应对这个挑战 。出现了一些方法,但它们有些复杂 。这仍然是学术界、企业和政府研发部门积极研究和探索的领域 。
5、准确性与幻觉【GenAI成功道路上的十个“坑”】无论你的GenAI应用程序有多好,它都有可能编造一些东西,或者用该领域的术语来说就是“产生幻觉” 。一些专家表示,任何人工智能在被要求生成或创造以前不存在的东西(比如一句话或一幅画)时,产生幻觉都是正常的 。
虽然专家表示,幻觉可能永远不会被完全消除,但好消息是,幻觉率一直在下降 。OpenAI早期版本的GPT错误率在20%左右 。现在这个数字估计在10%以下 。
有一些技术可以减轻人工智能模型产生幻觉的倾向,比如通过交叉检查一个人工智能模型与另一个人工智能模型的结果,这可以将幻觉率降至1%以下 。减轻幻觉在很大程度上取决于实际用例,但这是AI开发人员必须牢记的事情 。


推荐阅读