数据挖掘|数据挖掘是数据『抽象模型』的发现过程机器学习

文章图片

数据挖掘通过分析每个数据，从大量数据中寻找其规律的技术，主要有数据准备、规律寻找和规律表示3个步骤。数据挖掘的任务有关联分析、聚类分析、分类分析、异常分析、特异群组分析和演变分析等。

数据挖掘完整的步骤① 理解数据和数据的来源
② 获取相关知识与技术
③ 整合与检查数据
④ 去除错误或不一致的数据
⑤ 建立模型和假设
⑥ 实际数据挖掘工作
⑦ 测试和验证挖掘结果
⑧ 解释和应用
绝大多数数据建模方法

数据可以通过其可能遵从的模型来建模
对数据进行简洁的近似汇总描述
从数据中抽取出最突出的特征来代替数据并将剩余内容忽略
寻找模型就是前面提到统计建模和机器学习方法。

在建模方面最重要的方向

统计建模

【数据挖掘|数据挖掘是数据『抽象模型』的发现过程】统计模型的构建过程，而这个统计模型指的就是可见数据所遵从的总体分布，比如我们有了一系列数字，统计学家可能会判定这些数字符合高斯分布，并利用公式来计算该分布最有可能的参数值。统计建模的要点之一是忽略噪声。

机器学习

很多数据挖掘方法中也使用了机器学习算法，机器学习的实践者将数据当成训练集来训练某类算法。机器学习擅长的典型场景是人们对数据中对的寻找目标几乎一无所知，比如，我们并不清楚到底是影片中的什么因素导致某些观众喜欢或者厌恶该影片。另一方面，当挖掘的目标能很直接的描述时，利用人的知识加上简单的判别过滤方法，效果也许会更好。

以上内容来源于网络，如侵权联系删除