数据挖掘七种常用的方法汇总
![作者头像](https://ask.qcloudimg.com/http-save/yehe-7857808/tiqwiqkhww.jpeg)
![](https://ask.qcloudimg.com/http-save/yehe-7857808/1c2f6378860e5fa2af36f7e423d0ec8f.gif)
数据挖掘(Data Mining)就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中,提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。这个定义包括几层含义:数据源必须是真实的、大量的、含噪声的;发现的是用户感兴趣的知识;发现的知识要可接受、可理解、可运用;并不要求发现放之四海皆准的知识,仅支持特定的发现问题。这里的知识一般指规则、概念、规律及模式等。 数据挖掘建模过程
![](https://ask.qcloudimg.com/http-save/yehe-7857808/81c0aa7f94464732c13d1276b8c5895e.jpeg)
定义挖掘目标
针对具体的数据挖掘应用需求,首先要非常清楚,本次挖掘的目标是什么?系统完成后能达到什么样的效果?因此我们必须分析应用领域,包括应用中的各种知识和应用目标。了解相关领域的有关情况,熟悉背景知识,弄清用户需求。要想充分发挥数据挖掘的价值,必须要对目标有一个清晰明确的定义,即决定到底想干什么。否则,很难得到正确的结果。 数据取样
数据采集前首要考虑的问题包括:哪些数据源可用,哪些数据与当前挖掘目标相关?如何保证取样数据的质量?是否在足够范围内有代表性?数据样本取多少合适?如何分类(训练集、验证集、测试集)等等。
在明确了需要进行数据挖掘的目标后,接下来就需要从业务系统中抽取一个与挖掘目标相关的样本数据子集。抽取数据的标准,一是相关性,二是可靠性,三是最新性。
进行数据取样一定要严把质量关,在任何时候都不要忽视数据的质量,即使是从一个数据仓库中进行数据取样,也不要忘记检查其质量如何。因为数据挖掘是探索企业运作的内在规律,原始数据有误,就很难从中探索规律性。 数据探索
当拿到一个样本数据集后,它是否达到我们原来设想的要求,其中有没有什么明显的规律和趋势,有没有出现从未设想过的数据状态,因素之间有什么相关性,它们可区分成怎样一些类别,这都是要首先探索的内容。数据探索和预处理的目的是为了保证样本数据的质量,从而为保证预测质量打下基础。数据探索包括:异常值分析、缺失值分析、相关分析、周期性分析、样本交叉验证等。 数据预处理和清洗
采样数据维度过大,如何进行降维处理,采用数据中的缺失值如何处理,这些都是数据预处理需要解决的问题。数据预处理主要包含如下内容:数据筛选,数据变量转换,缺失值处理,坏数据处理,数据标准化,主成分分析,属性选择等。 数据挖掘模式发现
样本抽取完成并经预处理后,接下来要考虑的问题是:本次建模属于数据挖掘应用中的哪类问题(分类、聚类、关联规则或者时序分析),选用哪种算法进行模型构建?
模型构建的前提是在样本数据集中发现模式,比如关联规则、分类预测、聚类分析、时序模式等。在目标进一步明确化的基础上,我们就可以按照问题的具体要求来重新审视已经采集的数据,看它是否适合挖掘的需要。
针对挖掘目标的需要可能需要对数据进行增删,也可能按照对整个数据挖掘过程的新认识,要组合或者新生成一些新的变量,以体现对状态的有效的描述。在挖掘目标进一步明确,数据结构和内容进一步调整的基础上,下一步数据挖掘应采用的技术手段就更加清晰、明确了。 数据挖掘模型构建
模型构建是反映的是采样数据内部结构的一般特征,并与该采样数据的具体结构基本吻合。对于预测模型(包括分类与回归模型、时序预测模型)来说,模型的具体化就是预测公式,公式可以产生与观察值有类似结构的输出,这就是预测值。预测模型是多种多样的,可以适用于不同结构的样本数据。正确选择预测模型是数据挖掘很关键的一步,有时由于模型选择不当,造成预测误差过大,就需要改换模型。必要时,可同时采用几种预测模型进行运算以便对比、选择。对建立模型来说,要记住最重要的就是它是一个反复的过程,需要仔细考察不同的模型以判断哪个模型对解决问题最有效。