『冲刺』活捉那只抢算力的谷歌员工!挤占计算资源?博弈论或可破解数据中心“囚徒困境”

『冲刺』活捉那只抢算力的谷歌员工!挤占计算资源?博弈论或可破解数据中心“囚徒困境”
图片

大数据文摘出品来源:IEEE编译:赵吉克、武帅、钱天培
把“数据中心”和“博弈游戏”两个词放在一起 , 你会想到什么?经济学家们研究的“囚徒困境”?还是《魔兽世界》的用户数据?
我们今天要讲的 , 正是“数据中心”和“博弈游戏”的结合 , 但和在线游戏一点关系没有 。
【『冲刺』活捉那只抢算力的谷歌员工!挤占计算资源?博弈论或可破解数据中心“囚徒困境”】今天的话题 , 是切实发生在数据中心的博弈——从共享的大量计算机和存储系统中抢占资源 。
即使是在算力最为充足的的公司——谷歌 , 员工们也常常进行这样的博弈 。
当要求提交任务的计算需求时 , 一些员工会夸大了他们对资源的请求 , 以减少与他人共享的数量 。 有趣的是 , 其他一些员工则会减少了他们的资源请求 , 假装他们的任务可以轻松地在任何一台计算机上完成 。 一旦他们在一台机器上开始任务 , 相关的操作就会耗尽机器上所有可用的资源 , 并挤掉他们同事的任务 。
这些伎俩看起来有点滑稽 , 但它直指一个真正的问题——效率低下 。
2018年 , 全球数据中心耗电量为2050亿千瓦时 , 几乎和澳大利亚全境的用电量相当 , 约占世界总量的1% 。 由于服务器未被充分利用 , 因此大量能源被浪费掉了 。 一台空闲服务器所浪费的电力相当于其峰值用电量的50%;而当服务器开始工作时 , 其固定的电力成本就将分摊到该工作上 。
由于运行单个任务的用户通常只占用服务器资源的20%到30% , 因此多个用户必须共享服务器以提高其利用率 , 从而提高其能源效率 。 共享还可以降低资本、运营和基础设施成本 。 毕竟 , 不是每个人都有足够的钱来建立自己的数据中心 。
『冲刺』活捉那只抢算力的谷歌员工!挤占计算资源?博弈论或可破解数据中心“囚徒困境”
图片

为了分配共享资源 , 数据中心部署有资源管理系统 , 根据用户需求和系统自身目标 , 对可用的处理器内核、内存容量和网络资源进行划分 。 乍一看 , 这个任务应该很简单 , 因为用户经常有补充需求 。 但事实并非如此 。 共享在用户之间产生了竞争 , 正如我们看到的谷歌员工 , 很可能会扭曲资源的使用 。
因此 , 我们可以使用博弈论(game theory) , 即描述理性决策者之间战略交互的数学模型 , 进行了一系列项目 , 以此来管理这些自私用户之间的资源分配 , 同时最大化地提升数据中心的效率 。 在这种情况下 , 这种博弈还确实有利于解决资源分配问题 。
货币兑换机制失效 , 博弈论登场
帮助一群理性和自私的用户有效地共享资源并不仅仅是大数据时代的产物 。 经济学家们几十年来一直在这样做 。
在经济学中 , 市场机制根据供求来决定资源的价格 。 实际上 , 目前不少公共数据中心就在这么做 , 比如Amazon EC2和Microsoft Azure 。 在那里 , 真实货币的转移充当了一种工具 , 将用户的动机(绩效)与提供商的目标(效率)结合起来 。
然而 , 在许多情况下 , 货币兑换机制是失效的 。
『冲刺』活捉那只抢算力的谷歌员工!挤占计算资源?博弈论或可破解数据中心“囚徒困境”
图片

让我们考虑一个简单的例子 。
假设在你最好朋友的婚礼上 , 你得到了一张歌剧演出的门票 , 你决定把票给最喜欢该演出的人 。 所以你要进行所谓的第二价拍卖:让你的朋友们为这张票出价 , 规定赢家支付给你第二高的出价 。 数学上已经证明 , 在这种拍卖中 , 你的朋友没有动机去谎报他们对这张歌剧票的估价 。
如果你不想要钱或不能让你的朋友付你钱 , 你的选择就会变得非常有限 。 如果你问你的朋友他们有多想去看歌剧 , 没有什么能阻止他们夸大他们对门票的渴望 。 歌剧票只是一个简单的例子 , 但在很多地方——比如谷歌的私人数据中心或学术计算机集群——金钱要不不能转手 , 要不就是不该转手 , 更不能以此来决定谁得到什么 。


推荐阅读