数据挖掘

数据挖掘，又称为数据库中的知识发

现（KnowledgeDiscoveryinDatabase，KDD）。从商业实践的角度，数据挖掘可定义为：从海量原始数据中，找出隐含在其中的、事先不知道但又是潜在的、有意义的信息和知识，并利用这些信息和知识来指导商业决策的过程。而由Gartner Group提出的，被公众熟悉的BI概念则是将数据仓库（DateWarehousing，DW）、联机分析处理（On-LineAnalytical Processing，OLAP）、数据挖掘等技术与特定业务问题结合起来，应用于商业实践的实际过程中，进而实现技术服务于决策的目的。

传统的财务风险、财务欺诈分析主要基于专家的经验判断，主观性强、效率低。随着商业智能（BusinessIntelligence，BI）应用普及，数据挖掘（DataMining，DM）技术成为企业财务风险与财务欺诈分析的强有力手段。

数据挖掘是一个过程

数据挖掘是一个过程，绝不是软件加数据这么简单。实践表明，数据挖掘成功与否的关键之一就是 数据挖掘过程的质量，即数据挖掘过程中每一个步骤质量的高低。

从实践出发，可以将数据挖掘过程分成业务目标确定、确认数据源、数据收集、数据筛选、数据质量检测、数据转换、数据挖掘建模、结果解释、应用建议、结果应用10个步骤，每一步骤的工作内容见表1。目前业界通用的数据挖掘方法论为SAS的SEMMA方法论和 SPSS、NCR、Daimler-Benz在1996年联合制定的Crisp-DM方法论。

■与传统分析方法的区别

数据挖掘与传统数据分析的本质区别在于：数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识。数据挖掘所得到的信息，应具有事先未知、有效和可用3个特征。挖掘出的信息越是出乎意料，可能越有价值。

一个经典例子就是美国沃尔玛超市“啤酒和尿布”的故事。曾经有段时间，沃尔玛公司在美国的店面经理发现一种有趣而又奇怪的现象：每周啤酒和一次性尿布的销量都会有一次同比攀升。店面经理对此百思不得其解。后来，沃尔玛运用数据挖掘工具发现，购买这两种产品的顾客几乎都是 25岁到35岁之间、家有婴儿的男性，每次购买时间均在周末。沃尔玛在对相关数据分析后得出，这类人群习惯周末晚上边看球赛、边喝啤酒，而同时又要兼顾孩子，为了图省事就用一次性尿布。得出结果后，沃尔玛决定把这两种商品集中摆在一起销售，结果啤酒和一次性尿布销量都有了显著增加。

■与数据仓库的区别和联系

数据仓库是一个用来更好地支持企业或组织决策分析处理的数据集合，与传统的面向事务处理的数据库相比，它有面向主题、集成、相对稳定、随时间不断变化4个特性。

通常在进行数据挖掘前，需要把与挖掘相关的数据从数据仓库迁移到数据挖掘库或数据集市中。数据挖掘库可以是 数据仓库的一个逻辑子集，也可以是一个物理上独立的数据库，这需要视数据仓库计算资源容忍程度而定。单从数据挖掘的角度看，做数据挖掘时 数据仓库并非必需，只要分析人员直接将业务数据导入数据集市或者数据库甚至于文本文件，也能满足数据挖掘需求。

■与在线分析处理的区别

联机分析处理是以海量数据为基础的复杂分析技术。它支持各级管理决策人员从不同角度、快速灵活地对数据仓库中的数据进行复杂查询和多维分析处理，并能以直观易懂的形式将查询和分析结果展现给决策人员。联机分析处理首先要建立一系列的假设，然后证实或推翻这些假设，最终得到自己的结论。

数据挖掘与联机分析处理不同之处在于：数据挖掘不是用于验证某个假定模式（模型）的正确性，而是在数据库中自己寻找模型。数据挖掘和联机分析处理具有一定的互补性。在数据挖掘早期，联机分析处理工具可以探索数据，找到哪些是对一个问题比较重要的变量，发现异常数据和互相影响的变量。

总之，数据仓库为数据挖掘提供了有效的数据收集手段和必要的数据基础，联机分析处理和数据挖掘是 数据仓库之上的增值技术。基于数据仓库的联机分析处理与数据挖掘的融合和互补，是 数据挖掘技术发展的未来走向。

金融业主要应用

数据挖掘就是面向应用而生的。近年来，数据挖掘应用越来越成熟，效益也逐步体现，尤其是在银行、电信、保险、交通、零售（如超级市场）、医学等商业领域。数据挖掘典型的商业应用包括：客户细分、交叉销售、客户流失分析、风险评级、信用评分、欺诈发现、销售预测、股价预测、利率预测等。

早在1990年代，许多欧美银行就开始逐步利用数据挖掘来改进管理，提升管理水平、增强竞争优势。目前，数据挖掘已成为国际大银行管理的重要工具和手段，被广泛运用于风险管理、客户管理、产品管理、绩效管理等领域。

近年来，国内银行完成数据大集中后，也纷纷开始银行数据仓库系统建设，但主要集中在利用多维分析技术的应用，对于数据挖掘的应用还不多。可以说，国内银行业数据挖掘应用基本处于探索阶段。不过，数据大集中和数据仓库的建立，已为国内银行开展深入的数据分析、数据挖掘提供了良好的数据基础。

数据挖掘在银行业应用十分广泛，按业务问题及分析主题不同，可划分为4个方面：风险分析、客户分析、产品分析、员工绩效分析（见表2）。

建立分析模型

银行业信贷部门的主要工作包括：贷前调查、贷中审查以及贷后检查。贷款企业的财务报表是其综合实力的一个集中反映，银行需要通过对贷款企业财务报表的分析来建立一种基本判断；实质上，就是建立对贷款企业的风险分析系统和对其财务报表的诚信分析系统。

这样就产 生了两个问题：一是如何通过财务报表准确判断贷款企业是否存在问题？即如何将财务报表指标化，通过一些关键指标了解贷款企业是否诚信，其经营是否处于健康状态。二是由于银行的客户数量高达数万家甚至几十万家，每个信用审 查的审批人员要负责大量的贷款企业审查工作，工作量非常大。于是更严峻的问题出现了，如何提高工作人员审查审批效率？如何在控制人员规模的前提下，保证审查 审批质量？这两个基本需求促使银行建设贷款企业的财务风险分析和财务报表诚信度分析系统。

对于十分庞杂的贷款企业财务报表，如何去分析，怎样才能利用数据挖掘建立分析系统？

首先，可以参考此前相关专家的经验。例如，在对几十位国内银行风险管理领导、业务骨干以及一线人员进行访谈后，这些专家结合工作实际，阐明了他们如何分析财务报表中的数据是否真实，以及从哪些角度判断一个企业是否存在问题等。由于技术偏好和实践经验的差异，这些专家的观点可能差别很大，此时利用数据挖掘工具就可将专家们视角各异的认识和结论综合起来，而不是对专家观点的简单再展示。这样，可以总结出一套数百个包括财务指标和非财务指标在内的用于识别企业偿债能力和财务报表诚信度的指标体系。

其次，建立指标体系后，需要对历史 数据进行采样，对原始财务、非财务数据进行抽取、转化和加载，形成数据挖掘的基础数据库。然后对数据质量进行分析。经过大量复杂的分析工作，识别诸如主营业务收入为负数等垃圾数据，并进行清理、转换，得到可供建模用的数据集。除了内部数据以外，还可以系统地收集外部 数据进行补充，比如沪深两市的上市公司财务指标数据、国家统计局5000家企业的财务指标，均可作为外部统计数据。

第三，得到可供建模应用的数据集后，借助数据挖掘工具，不断调整参数，优化调整模型，对Logistic回归模型、神经网络、决策树 和 Probit回归模型进行比较，最终选择预测能力高、业务可解释性强模型作为最终的偿债能力和诚信度评分模型。

数据挖掘模型建立后，需要考虑的另外一个问题是如何建立一套IT系统，把模型的结果和财务指标分析，通过系统的设计，以一套直观、易用、好用的方式推广到信贷分析人员的桌面上，将其应用到银行信贷管理的业务流程中。

为此，需要开发“企业财务预警与诚信评级系统”。该系统以数据挖掘为基础，旨在综合考察 授信企业在财务、非财务方面的风险成因及其表现指标，建立起横向（行业）、纵向（历史）等多方位的比较分析，进而对授信企业的偿债能力和财务报表诚信度做出有效的量化评价，据此发掘客户在其所属行业中的发展优势及风险因素，为银行对授信企业的风险决策工作提供辅助参考。