江苏龙网

  1. 首页 > 生活 > >

大数据，数据挖掘与云计算的关系( 二 )


引言：
“云计算”被描述为是一个平台系统或软件应用程序。首先，平台系统意味着云计算系统可以实时地动态部署、配置、再部署、再配置。在云计算平台下，服务器是一个物理服务器或一个虚拟服务器。云计算通常包括很多计算资源。云计算是一个新的商业模型。它描述了计算任务到资源池的过程。资源池由大量计算机组成，从而保证各种应用可以按需获得计算能力、存储空间和各种软件服务。云计算的新颖性在于它可以提供无限的廉价存储和计算能力，这可以使其存储和挖掘大量的数据。处理高维度和大规模数据有很多方法，但请求处理通常是瓶颈。认识发现任务算法通常被应用到多维未来空间广泛搜索或最近邻居搜索。商业智能和数据仓库可以存放T字节级以上的数据。云计算作为数据挖掘的需求正被广泛使用。Map Reduce是一个程序框架，并且被用于处理大的数据集合。分割、调度和失败处理以及通信等细节被Map Reduce隐藏。关于云计算
云计算是一种计算服务而不单单是一个产品，它由计算资源、软件和各种信息组成。通过网络在任何地点，可以使用计算机或其他设备等终端访问。云是一个并行和分布式系统，由相互连接的虚拟计算机构成，可以被动态部署，并作为一个或多个统一的计算资源呈现出来。云计算基于服务运营商和用户签订的服务等级协议提供服务。数据连接紧密度的增长和数据量增长导致许多运营商和部分数据中心使用大的、可以动态均衡负载的基础设施作为云计算平台。通过按需地在服务器上分布和复制数据，资源利用率显著提高。“云”是一个弹性的资源执行环境，涉及到多个利益方，并能提供可以计量的服务。这些服务可以分为多个粒度级别。换言之，本文中所讲的云是基础平台，可以在多种资源上面以各种形式执行。从而提供资源和服务的管理性、弹性和系统平台独立性等能力。关于数据挖掘
目前有几种主要的数据挖掘技术已经开发并应用到数据挖掘项目中。包括关联规则、分类、聚类、预测和序列模式。下面将简要地介绍这些数据挖掘技术的例子。 （1）关联规则　　关联规则是一种最好的已知的数据挖掘技术。对关联规则挖掘的研究可分为两种类型，一种是Apriori算法研究，一种是频繁模式增长算法研究（FP-growth增长等）。在关联规则中，一种模式的发现是基于在同一个交易数据库中特定项目与其他项目的关系。例如，该技术用于市场购物篮分析中确定什么样的产品客户经常一起购买。基于该数据业务会有相应的营销活动，从而销售更多的产品，创造更大的利润。　　（2）分类　　分类是一种基于机器学习的经典的数据挖掘技术。分类方法是利用数学方法实现，如决策树，线性规划，神经网络和统计。在分类过程中，软件可以学习如何将数据项分到不同的组中。例如，可以应用于“给那些离开公司的员工过去的记录应用分类，预测当前的雇员很可能在将来离开”，在这种情况下，把员工的记录分为两组，“离开”、“留下”，然后，可以利用数据挖掘软件将雇员划分到每个组。　　（3）聚类　　聚类分析是数据挖掘技术中很有意义或有用的一种自动聚类技术。不同于分类技术，聚类技术也定义了类和类中的对象，而在分类中，对象被分配到预定义的类中。以图书馆为例，在图书馆里图书的种类有很多，如何使读者能够在如此广泛的主题中找到相关主题的书目是一个很麻烦的问题。利用聚类技术，使相似类型的图书归在一起或放在同一个书架上，通过标签标识有意义的名称。这样读者想获取书中的主题时，只需去那个书架就可找到，而不必在整个图书馆中查找。　　（4）预测　　正如它的名字暗示的，预测是一种数据挖掘技术，用于发现自变量之间及自变量和因变量之间的关系。例如，预测分析技术，如果考虑销售额是一个自变量，利润可能是一个因变量，那就可以预测将来的销售利润，根据历史销售数据和利润数据，就可以得出一个用于预测盈利的回归拟合曲线。　　（5）序列模式　　序列模式分析是一种发现事件间在顺序上的相关性的数据挖掘技术。发现的模式是用于识别数据之间关系的进一步分析。关于大数据


推荐阅读


上一篇：怎样看待马云说今年阿里不招收新员工

下一篇：研究生还没毕业女朋友嫌我赚钱少咋办