一篇文章让你明白数据挖掘的意义

　　数据挖掘(DataMining)，核心是从数据集合中自动抽取隐藏的有用信息(规则、概念、规律、模式等)，并运用到实际业务中。自动抽取的过程可以类比成定性研究/数据分析中的洞察(insight)。两者的区别在于数据挖掘更依赖机器和算法，后者的洞察更依赖人脑。数据挖掘是目前一种新的重要的研究领域。今天的主要目的是介绍了数据挖掘集合、分析、流程、分类、方法等数据挖掘的评价。对数据挖掘领域面临的问题做了介绍和展望。　　1.引量

　　数据挖掘(DataMining)是从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、但又潜在于有用的信息和知识的获取过程。随着信息技术的高速发展，积累的数据量急剧增长，动辄以TB计，如何从海量的数据中提取有用的知识成为时代当务之急问题。数据挖掘就是顺应这种需要去应运而生发展起来的数据处理技术是知识发现(KnowledgeDiscoveryinDatabase)的关键步骤。

　　2.数据挖掘的任务主要是关联分析、聚类分析、分类、预测、时序模式和偏差分析

　　⑴关联分析(associationanalysis)

　　关联分析挖掘是由RakeshApwal等人首先提出的。两个或两个以上变量取向价值之间存在某种规律性发掘称之为关联。数据关联是数据库中存在的一类重要的、可被发现的知识。关联分为简单关联、时序关联和因果关联。关联分析的目的是找出数据库中隐藏的大量关联网。一般用支持度和可信度两个阀值来度量获取关联规则的相关性，还有兴趣度、相关性等参数，使得所挖掘的规则更符合实质需求。

　　⑵聚类分析(clustering)

　　聚类是把数据按照相似性归纳成若干类别分类出来，同一类中的数据彼此相似，不同类中的数据则相异。聚类分析可以建立宏观的概念，发布数据的分布模式，以及可能性的数据属性之间的相互关系。

　　⑶分类(classification)

　　分类其实就是找出一个类别的概念描述，代表了数据的整体信息，分类的内涵描述，并用描述来构造模型，一般用作于规则或决策树模式表示出来。分类是利用训练数据集中通过一定的算法而求得分类规则。分类可被用于规则描述和数据预测。

　　⑷预测(predication)

　　通过预测利用历史数据找出变化规律，建立模型并由该模型对未来数据的种类及特征进行预测。预测关心的是精确度和不确定性因素，通常用预测方差来度量较为适合。

　　⑸时序模式(time-seriespattern)

　　通过时间序列搜索出的重复发生概率比较高的模式。与回归一样，它也是用己知的数据预测未来的数据值，但这些数据的区别是变量所处时间的不同而已。

　　⑹偏差分析(deviation)

　　在偏差中包括很多有用的知识，数据库中的数据存在很多异常情况，发现数据库中数据存在的异常情况是非常重要的。偏差检验的基本方法就是寻找观察结果与参照之间的差别。

　　3．数据挖掘对象：

　　根据信息存储格式，用于挖掘的对象有关系有作用的数据库、对象数据库、数据仓库、文本数据源、多媒体数据库、空间数据库、时态数据库、异质数据库以及网络等。

　　4．数据挖掘流程：

　   ⑴定义问题：清晰地规划出定义出业务问题，确定数据挖掘的目的。

      ⑵数据准备：在大型数据库和数据仓库目标中选择数据提取数据挖掘的目标数据集；数据预处理--进行数据再加工，包括检查数据的完整性及数据的一致性、去除噪声，填补丢失的区域，删除无效数据内容等。

　　⑶数据挖掘：根据数据功能的类型和数据的特点选择相应的数据算法，在净化和转换数据的过程中进行数据挖掘。

　　⑷结果分析：对数据挖掘的结果进行解释和作出评价，转换成为能够最终被用户理解和接受的知识。

　　⑸知识的运用：将所得到的知识集成到业务信息系统的组织结构中去分析。

　　5．数据挖掘的方法

　　⑴神经网络方法

　　由于神经网络本身具有良好的鲁棒性、自组织适应性、自行处理性、分布存储和高度容错等特性，非常适合解决数据挖掘的问题，因此近年来越来越受到人们的关注和使用。典型的神经网络模型主要分3大类：以感知机、BP反向传播模型、函数型网络为代表的，用于分类、预测和模式识别的神经网络模型；以Hopfield的离散模型和连续模型为代表的，分别用于联想记忆和优化计算的反馈式神经网络模型；以ART模型、Koholon模型为代表的，用于聚类的自组织映射方法。神经网络方法的缺点是"黑箱"性，人们难以从网络中理解学习和决策过程。

　　⑵遗传算法：

　　遗传算法是一种基于生物自然选择与遗传机理的随机搜索算法，是一种遗传仿生的全局优化方法。遗传算法具有的隐含并行性、易于和其它模型结合等性质使得它在数据挖掘中被加以应用。遗传算法的数据挖掘工具，利用该工具对两个飞机失事的真实数据库进行了数据挖掘实验，结果表明遗传算法是进行数据挖掘的有效方法之一。遗传算法的应用还体现在与神经网络、粗集等技术的结合上。利用遗传算法优化神经网络结构，在不增加错误率的前提下，删除多余的连接和隐层数据单元；用遗传算法和BP算法结合训练神经网络，然后从网络提取规则等。但遗传算法的算法较为之复杂，敛于局部极小的较早敛入问题尚未解决。

　　⑶决策树方法：

　　决策树是一种常用于预测模型的算法，它通过将大量数据有目的分类，从中找到一些有价值的和潜在的信息。它的优点是描述简单，分类速度快，适合于对大规模的数据处理。最有影响和最早的决策树方法是ID3算法。它的主要问题是：ID3是非递增学习算法；ID3决策树是单变量决策树，复杂概念的表达困难；同性间的相互关系不够强调；抗噪音性差。针对上述问题，出现了许多较好较为改进算法的ID4递增式学习算法和IBLE算法等。

　　⑷粗集方法：

　　粗集方法专注于研究不精确、不确定知识的数学工具。粗集方法有几个优点，不需要再提供额外信息；加强简化输入信息的表达空间；算法较为简单，容易操作操作。粗集处理的对象是类似于二维关系的信息表。目前成熟的关系数据库管理系统和新发展起来的数据仓库管理系统，为粗集的数据挖掘奠定了坚实的基础。但粗集的数学基础是集合论，难以直接处理连续性问题的属性。而现实信息表中连续属性是普遍存在的。因此连续属性的离散化是制约粗集理论实用化的难点重点。现在国际上已经研制出来了一些基于粗集的工具应用软件，例如加拿大KDD-R软件和美国的LERS软件等。

　　⑸覆盖正例排斥反例方法：

　　它是利用覆盖所有正例和排斥所有反例的思想来寻找规则。首先在正例集合中任选一个种子用到反例集合中逐个对比。与字段取值构成的选择子相容则舍去，相反则保留。按此思想循环利用比较正例种子，将得到正例的规则(选择子的合取式)。

　　⑹统计分析方法：

　　在数据库字段项之间存在两种关系：函数关系和不用函数公式表示的相关关系，对它们的分析可采用统计学方法，即利用统计学原理对数据库中的信息进行分析比较。可进行常用统计回归分析(相关分析差异分析等。

　　⑺模糊集方法：

　　利用模糊集合理论对实际问题进行模糊评判、决策、模式识别和模糊聚类分析。系统的内部复杂性越高，模糊性越强，一般模糊集合理论是用隶属度来刻画模糊事物的亦此亦彼。

　　6．评价数据挖掘软件需要考虑的问题：

　　越来越多的软件供应商加入了数据挖掘这一领域的竞争。用户如何正确评价一个商业软件的价值，选择合适的软件成为数据挖掘成功应用的关键一步。评价一个数据挖掘软件主要应从以下四个主要方面：

　　⑴计算性能：如该软件是否能在不同的商业平台运行；软件的架构能否连接不同的数据源在操作大数据集时性能变化是线性的还是指数的;算法的效率是否基于组件的结构易于扩展；运行的稳定性是否稳定等计算机性能问题；

　　⑵功能性：如软件是否提供足够多样的准确算法；能否避免挖掘过程黑箱化；软件提供的算法能否应用于多种类型的大数据分析；用户能否调整算法的参数；软件能否从数据集随机抽取数据建立预挖掘模型；能否以不同的形式表现挖掘结果等；

　　⑶可用性：如用户界面是否良好；软件是否易学易用；软件面对的用户是初学者，高级用户还是专家？错误报告对用户调试是否有很大帮助；软件应用的领域：是专攻某一领域还是适用多于多个专业领域等；

　　⑷辅助功能：是否允许用户更改集中的错误值或进行数据清洗数据；是否允许数据值的全局替代；能否将连续数据离散化；能否根据用户制定的规则从数据库集中提取子集；能否将数据中的空值用于某一适当均值或用户指定的值代替；能否将一次分析的结果反馈到另一次分析中等等辅助功能问题。

　　总结：大家都在谈“大”数据的时候，就会忽略了“小”数据，不是只有大数据可以挖掘，小数据一样可以。宏观数据挖掘：可以判断大的趋势，微观数据挖掘：可以判断局部甚至个体的特征。数据挖掘有很高的专业门槛;然而用作研究、产品、运营方面也不一定就会被数据科学家们所认识。