江苏龙网

  1. 首页 > 资讯 > 科技 > >

■2020年大数据与AI结合的发展方向解读( 二 )


■2020年大数据与AI结合的发展方向解读
文章图片

文章图片

3存储与计算分离、云计算推动 AI 应用异构平台的发展
大家如果比较熟悉 Hadoop 就知道 ， 它的一大特性是计算和数据的本地化 ， 即把计算放到数据所在的机器运行 。随着数据量级的增长以及网络带宽的提高 ， 计算与存储分离的系统越来越多且并未成为计算的瓶颈 。将计算和存储分离还有另一大好处是可以更好的管控和隔离计算和存储资源 ， 提高整个平台的稳定性 ， 这对一些线上大数据组件如线上 HBase 等系统的稳定性可用性的支持尤为关键 。
早期的大数据平台主要是商业机器为主 ， 辅以强大的软件容错功能 ， 并未有稳定性的损失 。在存储方面 ， SSD 价格持续走低 ， 其上的应用和框架也越来越多 ， 如 AeroSpike 可以通过 SSD 的扩展在不丢失延迟性能的同时极大的提高扩展性和降低纯内存方案的成本 。持久化内存 (Persistent Memory) 存储产品开始面市 ， 这对于整个的数据和存储解决方案可能会带来很大的革新 。在计算方面 ， GPU 用以提高深度学习等计算密集型应用的计算效率 ， CPU 和 GPU 混布已经成为一个趋势 。云计算技术尤其是容器化技术使得各种异构存储和计算的融合成为可能 ， 进而提高整个数据中心资源的使用效率 。
4AI 平台与大数据平台融合构建端到端的整体解决方案
机器学习 /AI 的发展尤其是在互联网行业的应用推动了大数据平台和 AI 平台的融合 。在以前 ， 我们需要在大数据平台构建和实验数据特征 ， 然后按照机器学习训练的要求统一处理数据；然后上传到 AI 训练平台训练模型；经过反复超参数调节和特征工程工作 ， 训练好模型再发布到线上系统做实时的预测和决策 ， 进而支撑各种业务如广告、推荐、风控等场景 。可以看到 ， 整个的流程需要各种平台之间的切换和数据传递 ， 甚至是每一种数据处理、每一种实验、每一个数据问题都可能会使得用户在平台之间反复与切换 ， 这不仅导致 AI 应用构建的效率不高 ， 甚至不能满足日益发展的业务对于 AI 应用的上线时间的要求 。
构建整个端到端的大数据机器学习平台已经成为了迫切的需求用以解决上述的问题 ， 目前基本上各大公司都在或者已经成功将大数据、机器学习、线上服务融合到一个端到端的平台 。这样 ， 终端用户甚至可以基于此平台无缝化的从数据开始 ， 高效的构建起整个机器学习模型的管道 ， 此过程中任何数据以及模型的更正 ， 仅仅是一些简单的操作就可以做到 ， 真正做到了高效统一 。另外 ， 笔者在公司领导开发的系统更是做到了支持机器学习特征和模型线上一键自动发布、验证以及决策划分 。此外 ， 整个底层计算系统的打通和共享 ， 也解决了之前系统分离而资源不足的问题 。
5结语
最后对本文做一个简单的总结：大数据经历了较长时间的发展 ， 目前已经进入了稳步的发展时期 ， 主流的大数据计算框架已经成型 ， 越来越多的基于这些主流框架的精细化上层应用会成为一个趋势 。此外机器学习、AI 的持续发展反过来也在推动大数据的规模、实时性以及平台化的发展 。越来越多的企业构建起端到端的大数据机器学习平台以提高大数据 AI 落地效率 ， 各大云厂商更是构建出此类一体化产品希望能够收获更多的客户和收益 。


推荐阅读


上一篇：【】骁龙855正式清仓！这3款旗舰跌至“白菜价”，网友：还是买早了

下一篇：【】苹果也是靠“抄袭”起家的