数据挖掘的基本流程.docx

CRISP-DM (cross-industry standard process for data mining),即为“跨行业数据挖掘过程标准”.此KDD过程模型于1999年欧盟机构联合起草.通过近几年的进展,CRISP-DM模型在各种KDD过程模型中占据领先位置,采纳量达到近60%.(数据引自 Cios and Kurgan 于 2005 年合著的论文 trands in data mining and knowledgediscovery中) 在1996年，当时数据挖掘市场是年轻而不成熟的，但是这个市场显示了爆炸式的增长。三个在这方面阅历丰富的公司DaimlerChrysler> SPSS、NCR发起建立一个社团，目的建立数据挖掘方法和过程的标准。在获得了 EC(European Commission)的资助后，他们开头实现他们的目标。为了征集业界广泛的意见共享学问,他们创建了 CRISP-DM Special Interest Group (简称为SIG)。也许在 1999 年，SIG (CRISP-DM Special Interest Group)组织开发并提炼出CRISP-DM,同时在Mercedes-Benz和OHRA (保险领域)企业进行了大规模数据挖掘项目的实际试用。SIG还将CRISPDM和商业数据挖掘工具集成起来。SIG组织目前在伦敦、纽约、布鲁塞尔已经进展到200多个成员。2000年，CRISP-DM 1.0版正式推出，应当说CRISP-DM是实际项目的阅历总结和理论抽象。CRISP-DM强调，DM不单是数据的组织或者呈现，也不仅是数据分析和统计建模，而是一个从理解业务需求、寻求解决方案到接受实践检验的完整过程。CRISP-DM的六个阶段CRISP-DM过程描述CRISP-DM模型为一个KDD工程供应了一个完整的过程描述。一个数据挖掘项目的生命周期包含六个阶段。这六个阶段的挨次是不固定的，我们常常需要前后调整这些阶段。这依靠每个阶段或是阶段中特定任务的产出物是否是下一个阶段必需的输入。上图中箭头指出了最重要的和依靠度高的阶段关系。上图的外圈象征数据挖掘自身的循环本质一一在一个解决方案发布之后一个数据挖掘的过程才可以连续。在这个过程中得到的学问可以触发新的，常常是更聚焦的商业问题。后续的过程可以从前一个过程得到好处。业务理解(Business Understanding)最初的阶段集中在理解项目目标和从业务的角度理解需求，同时将这个学问转化为数据挖掘问题的定义和完成目标的初步方案。数据理解(Data Understanding)数据理解阶段从初始的数据收集开头，通过一些活动的处理，目的是熟识数据，识别数据的质量问题，首次发觉数据的内部属性，或是探测引起爱好的子集去形成隐含信息的假设。数据预备(Data Preparation)数据预备阶段包括从未处理数据中构造最终数据集的全部活动。这些数据将是模型工具的输入值。这个阶段的任务有个能执行多次，没有任何规定的挨次。任务包括表、纪录和属性的选择，以及为模型工具转换和清洗数据。建模(Modeling)在这个阶段，可以选择和应用不同的模型技术，模型参数被调整到最佳的数值。一般，有些技术可以解决一类相同的数据挖掘问题。有些技术在数据形成上有特别要求，因此需要常常跳回到数据预备阶段。评估(Evaluation)到项目的这个阶段，你已经从数据分析的角度建立了一个高质量显示的模型。在开头最终部署模型之前，重要的事情是彻底地评估模型，检查构造模型的步骤,确保模型可以完成业务目标。这个阶段的关键目的是确定是否有重要业务问题没有被充分的考虑。在这个阶段结束后，一个数据挖掘结果使用的打算必需达成。部署(Deployment)通常，模型的创建不是项目的结束。模型的作用是从数据中找到学问，获得的学问需要便于用户使用的方式重新组织和呈现。依据需求，这个阶段可以产生简洁的报告，或是实现一个比较简单的、可重复的数据挖掘过程。在许多案例中，这个阶段是由客户而不是数据分析人员担当部署的工作。更多相关资料