智东西|54页PPT全解联邦学习中的同态运算与密文传输【附PPT下载】
文章图片
导读：
4月23日晚 ， 微众银行人工智能部高级工程师黄启军和星云Clustar研发副总裁胡水海在智东西公开课进行了一场直播讲解 ， 主题为《GPU在联邦机器学习中的探索》 。
本次专场讲解中 ， 黄启军老师从联邦学习中的隐私保护问题 ， 以及其在实际应用案例两个角度进行分析 ， 全面解析联邦学习在同态计算中的挑战与原理 。 胡水海老师着重分析同态运算和密文传输的问题 ， 并就如何提高同态计算和密文传输的效率 ， 进行相应的方案解析 。
本文为此次专场主讲环节的图文整理：
大家好 ， 我是微众银行人工智能部高级工程师黄启军 ， 今天和胡总一起来为大家分享的主题为《GPU在联邦机器学习中的探索》 ， 主要分四个部分：
1、联邦学习中的隐私保护问题
2、联邦学习在应用中的挑战
3、GPU加速同态运算
4、高速网络助力提高密文传输效率
联邦学习中的隐私保护问题
使用技术 ， 尤其是像AI技术或大数据技术 ， 来跟同业或非同业的机构建立连接时 ， 会面临一个骨感的现实 ， 就是数据孤岛 。 各方、各个组织或个人设备 ， 都会生成一个个的数据孤岛 ， 它们之间的数据没有很好的方法进行自由的流动 。
首先面临的问题是不可避免的数据保护主义 ， 可以看到GDPR产生的一个过程 。 在2012年时 ， 欧盟开始相关的提案并通过立法来保护个人数据 ， 2014年基本达成一致 ， 2018年5月时 ， GDPR正式被推出 ， 形成法律效力 。
在国内也有相似的情况 ， 2009年开始进行个人数据的保护 ， 2012年全国人大做了一个关于加强网络信息保护的决定 ， 这时已经开始对关于数据保护的政策进入快速的制定过程 ， 后面有刑法修正案（九） ， 明显比之前要严格 ， 因为它已把刑法的责任明确到自然人 ， 这就意味着不只是罚款就可以了事 。 随后一系列的法律法规可以看到 ， 出台更加的严格并且国家法律、行政法规更加的完善和全面化 。 这个全面化的不只是个人隐私数据 ， 还包括科学数据 ， 医疗数据以及电子商务数据等 。
文章图片
面对的这些问题 ， 可以通过一些技术手段来解决 ， 这里提出方案就是联邦学习 。 联邦学习可以让不同的组织 ， 比如说医院、银行、终端设备或公司 ， 通过联邦学习建立成一个联邦网络 ， 来共同挖掘数据中的价值 。
相比于传统的方案有什么优势？传统方法最典型的是通过网络去共享具体的样本数据；还有一种是通过加密的移动硬盘去拷贝 ， 相关人员在一个布满摄像头的操作室 ， 也叫安全沙箱里进行建模 。 但是数据同样会出本地 ， 还是有一定的安全风险 ， 最重要的是你把一个数据拷进去之后 ， 还是要把它解密出来进行建模 ， 相关人员还会知道里面的数据 。 最后一种是完全服务公开数据 ， 就是人工地分享建模的经验 ， 这对专业人员是可以的 ， 比如医生去分享医疗影像的经验 ， 确实可以从里面去学习 。 但是对于机器来说 ， 还很难达到一个提升模型效果的能力 。
而使用联邦学习有几个好处 ， 第一 ， 数据是隔离的 ， 原始的样本数据不会泄露在外部；第二 ， 效果是无损的 ， 也就是说联邦学习跟你把所有的数据明文堆在一起 ， 进行机器学习的效果几乎是一样的 ， 后面我们会去具体分析；第三 ， 它是对等的 ， 即各个参与方都是对等的；第四 ， 它们可以获得最终的获益 ， 就是说你参与联邦学习 ， 双方都可以通过这个模型受益 。
文章图片
联邦学习一般分为三类 ， 第一类是横向联邦学习 ， 横向联邦学习的机制类似于分布式的机器学习 ， 就是大家具有相同的特征空间 ， 有很多的样本分布到不同的机器 ， 这里可能是不同的组织机构之间 ， 然后进行机器学习 。 它与联邦学习有很大的区别 ， 联邦学习不是把这些数据或者梯度直接进行明文交换下的计算 ， 它是有一些加密保护措施的 ， 所以效果会更好 。 第二类是纵向联邦学习 ， 纵向联邦学习就是具有相同的一个样本空间 ， 通过这种方式可以得到一个更宽的表 ， 也就是可以得到更多的特征 。 有机器学习相关经验的同学一定知道 ， 一般特征越多 ， 模型效果不一定越好 ， 但可能性更多 ， 如果特征是互补的 ， 效果肯定会要好很多 。 第三个是联邦迁移学习 ， 两份数据没有在样本空间或者特征空间上形成交集的数据 ， 也能够把它应用起来 ， 这是迁移学习的另外一种方向 。
推荐阅读
- 智东西|占美国门店25%以上，疫情使苹果再关美国30家门店
- 科技报道|用了十几年了，哪些东西觉得贵的值得？网友：充电十分钟用一个月
- AI科技报|很可能又是一款PPT手机，小米mix将首发120W快充？综合分析
- 车东西|可辅助车辆完成分米级定位，日本研制出新型惯性传感器
- 小暖男石头哥|讲透中、美、德三国智能制造战略，清华大学68页PPT
- 「美国」什么东西掠过中国上空？NASA公布一消息，大量数据已传回美国
- 早爆娱闻|打造高绩效团队好东西，揪头发、照镜子、闻味道：21页阿里三板斧
- 车东西|后者融资已超70亿，亚马逊或砸10亿美元收购自动驾驶创企Zoox
- 次等大叔|却在网上特别的火？是信息差干的好事，为什么有些东西明明是假的
- CPU@华为Mate30Pro，除了强劲的处理器，你该知道这些东西！