关注算法安全新兴领域,清华团队RealAI推出业界首个AI模型“杀毒软件”( 二 )
其中 , 模型安全评测主要为用户提供AI模型安全性评测服务 。 用户只需接入所需测评模型的SDK或API接口 , 选择平台内置或者自行上传的数据集 , 平台将基于多种算法生成对抗样本模拟攻击 , 并综合在不同算法、迭代次数、扰动量大小的攻击下模型效果的变化 , 给出模型安全评分及详细的测评报告(如下图) 。 目前已支持黑盒查询攻击方法与黑盒迁移攻击方法 。
----关注算法安全新兴领域 , 清华团队RealAI推出业界首个AI模型“杀毒软件”//----
防御解决方案则是为用户提供模型安全性升级服务 , 目前RealSafe平台支持五种去除对抗噪声的通用防御方法 , 可实现对输入数据的自动去噪处理 , 破坏攻击者恶意添加的对抗噪声 。 根据上述的模型安全评测结果 , 用户可自行选择合适的防御方案 , 一键提升模型安全性 。 另外防御效果上 , 根据实测来看 , 部分第三方的人脸比对API通过使用RealSafe平台的防御方案加固后 , 安全性可提高40%以上
随着模型攻击手段在不断复杂扩张的情况下 , RealSafe平台还持续提供广泛且深入的AI防御手段 , 帮助用户获得实时且自动化的漏洞检测和修复能力 。
准确度99.99%也难逃被“恶意干扰” , RealSafe高效应对算法威胁
考虑到公众对于对抗样本这一概念可能比较模糊 , RealSafe平台特意选取了公众最为熟知的人脸比对场景(人脸比对被广泛用于金融远程开户、刷脸支付、酒店入住登记等场景的身份认证环节)提供在线体验 。
关注算法安全新兴领域,清华团队RealAI推出业界首个AI模型“杀毒软件”。 并且 , 为了深入研究“对抗样本”对人脸比对系统识别效果的影响 , RealAI 团队基于此功能在国内外主流 AI 平台的演示服务中进行了测试 。
----关注算法安全新兴领域 , 清华团队RealAI推出业界首个AI模型“杀毒软件”//----
实测证明 , “对抗样本”可以极大的干扰人脸比对系统的识别结果 , 而测试的这几家互联网公司平台开放的人脸比对API或SDK , 几乎覆盖了目前市面上很多中小型企业在落地人脸识别应用时的选择 , 如果他们的人脸比对技术存在明显的安全漏洞 , 意味着更广泛的应用场景将存在安全隐患 。
因此 , 为了帮助更大范围内的企业高效应对算法威胁 , RealSafe平台具备以下两大优势:
·组件化、零编码的在线测评:相较于ART、Foolbox等开源工具需要自行部署、编写代码 , RealSafe平台采用组件化、零编码的功能设置 , 免去了重复造轮子的精力与时间消耗 , 用户只需提供相应的数据即可在线完成评估 , 学习成本低 , 无需拥有专业算法能力也可以上手操作 。
·可视化、可量化的评测结果:为了帮助用户提高对模型安全性的概念 , RealSafe平台采用可量化的形式对安全评测结果进行展示 , 根据模型在对抗样本攻击下的表现进行评分 , 评分越高则模型安全性越高 。 此外 , RealSafe平台提供安全性变化展示 , 经过防御处理后的安全评分变化以及模型效果变化一目了然 。
推荐阅读
- 乐居财经业内提示关注央行货币政策走势,货币资金价格连续异常走高
- 中金网但美国欲举债三万亿或加剧债务压力 日内关注美国非制造业PMI,美元美股同涨
- 「空调」集中空调怎样用得安全?杭州检查5431家公共场所
- [监管局]昌平区市场监管局开展大型游乐设施安全隐患排查整治
- 『许可馨』网友打卡取得成功?“许可馨事件”再获关注,教育部副部长:反思
- 手机大魔王用权限管理来保护你的隐私安全,安卓手机安装APP后先别打开
- 上游新闻渝北区翠苹路社区深入排查消防安全隐患,夏季火灾高发期来临
- 中国日报网r来看看有哪些安全措施,迪士尼乐园即将重新开放
- 『表扬』江西省食品安全考核获A级通报表扬
- 全域消费关注网友:早该这样,网贷平台难逃取缔厄运!大量网贷机构被清出市场
