SPSS Modeler数据挖掘


SPSS Modeler数据挖掘方法及应用(第2版)  薛薇 (作者),‎ 陈欢歌 (作者)

 

基本信息

出版社: 电子工业出版社; 第1版 (2014年1月1日)
丛书名: 统计分析教材
平装: 257页
语种: 简体中文
开本: 16
ISBN: 7121222035, 9787121222030
条形码: 9787121222030
商品尺寸: 25.6 x 18 x 1.4 cm
商品重量: 422 g
品牌: 电子工业出版社
ASIN: B00HNVY4HO

 

编辑推荐

数据挖掘的理论和应用相结合;软件操作和实践相结合;基于最新版的SPSS Modeler数据挖掘软件;内容系统、完整,方法具有可操作性。

作者简介

薛薇,中国人民大学应用统计科学研究中心副主任

目录

第1章数据挖掘和Clementine概述1 
1.1数据挖掘的产生背景1 
1.1.1海量数据的分析需求催生数据挖掘1 
1.1.2应用对理论的挑战催生数据挖掘3 
1.2什么是数据挖掘6 
1.2.1数据挖掘的概念6 
1.2.2数据挖掘能做什么8 
1.2.3数据挖掘得到的知识形式9 
1.2.4数据挖掘的算法分类11 
1.3Clementine软件概述14 
1.3.1Clementine的窗口14 
1.3.2数据流的基本管理和执行17 
1.3.3数据流的其他管理19 
1.3.4从一个示例看Clementine的使用21 
第2章Clementine数据的读入30 
2.1变量的类型30 
2.1.1从数据挖掘角度看变量类型30 
2.1.2从数据存储角度看变量类型31 
2.2读入数据31 
2.2.1读自由格式的文本文件32 
2.2.2读Excel电子表格数据36 
2.2.3读SPSS格式文件37 
2.2.4读数据库文件38 
2.3生成实验方案数据40 
2.4合并数据42 
2.4.1数据的纵向合并42 
2.4.2数据的横向合并44 
第3章Clementine变量的管理47 
3.1变量说明47 
3.1.1取值范围和缺失值的说明48 
3.1.2变量取值有效性检查和修正49 
3.1.3变量角色的说明50 
3.2变量值的重新计算51 
3.2.1CLEM表达式52 
3.2.2变量值重新计算示例55 
3.3变量类别值的调整57 
3.4生成新变量58 
3.5变量值的离散化处理62 
3.5.1常用的分箱方法62 
3.5.2变量值的离散化处理示例66 
3.6生成样本集分割变量69 
3.6.1样本集分割的意义和常见方法69 
3.6.2生成样本集分割变量的示例71 
第4章Clementine样本的管理73 
4.1样本的排序73 
4.2样本的条件筛选74 
4.3样本的随机抽样75 
4.4样本的浓缩处理76 
4.5样本的分类汇总77 
4.6样本的平衡处理78 
4.7样本的其他管理79 
4.7.1数据转置79 
4.7.2数据的重新组织81 
第5章Clementine数据的基本分析83 
5.1数据质量的探索84 
5.1.1数据的基本描述与质量探索84 
5.1.2离群点和极端值的修正87 
5.1.3缺失值的替补88 
5.1.4数据质量管理的其他功能89 
5.2基本描述分析90 
5.2.1计算基本描述统计量91 
5.2.2绘制散点图93 
5.3变量分布的探索94 
5.4两分类变量相关性的研究97 
5.4.1两分类变量相关性的图形分析97 
5.4.2两分类变量相关性的数值分析100 
5.5两总体的均值比较105 
5.5.1两总体均值比较的图形分析105 
5.5.2独立样本的均值检验107 
5.5.3配对样本的均值检验111 
5.6变量重要性的分析113 
5.6.1变量重要性分析的一般方法113 
5.6.2变量重要性分析的应用示例116 
第6章分类预测:Clementine的决策树119 
6.1决策树算法概述119 
6.1.1什么是决策树119 
6.1.2决策树的几何理解121 
6.1.3决策树的核心问题121 
6.2Clementine的C5.0算法及应用124 
6.2.1信息熵和信息增益124 
6.2.2C5.0的决策树生长算法126 
6.2.3C5.0的剪枝算法130 
6.2.4C5.0的推理规则集132 
6.2.5C5.0的基本应用示例136 
6.2.6C5.0的损失矩阵和Boosting技术140 
6.2.7C5.0的模型评价145 
6.2.8C5.0的其他话题:推理规则、交叉验证和未剪枝的决策树147 
6.3Clementine的分类回归树及应用148 
6.3.1分类回归树的生长过程149 
6.3.2分类回归树的剪枝过程151 
6.3.3损失矩阵对分类树的影响154 
6.3.4分类回归树的基本应用示例155 
6.3.5分类回归树的交互建模159 
6.3.6分类回归树的模型评价160 
6.4Clementine的CHAID算法及应用168 
6.4.1CHAID分组变量的预处理和选择策略168 
6.4.2ExhaustiveCHAID算法170 
6.4.3CHAID的剪枝171 
6.4.4CHAID的应用示例171 
6.5Clementine的QUEST算法及应用173 
6.5.1QUEST算法确定最佳分组变量和分割点的方法174 
6.5.2QUEST算法的应用示例176 
6.6决策树算法评估的图形比较177 
6.6.1不同模型的误差对比177 
6.6.2不同模型收益的对比178 
第7章分类预测:Clementine的人工神经网络181 
7.1人工神经网络算法概述181 
7.1.1人工神经网络的概念和种类181 
7.1.2人工神经网络中的节点和意义183 
7.1.3人工神经网络建立的一般步骤185 
7.2Clementine的B—P反向传播网络187 
7.2.1感知机模型188 
7.2.2B—P反向传播网络的特点190 
7.2.3B—P反向传播算法193 
7.2.4B—P反向传播网络的其他问题196 
7.3Clementine的B—P反向传播网络的应用199 
7.3.1基本操作说明200 
7.3.2计算结果说明202 
7.3.3提高模型预测精度204 
7.4Clementine的径向基函数网络及应用204 
7.4.1径向基函数网络中的隐节点和输出节点204 
7.4.2径向基函数网络的学习过程205 
7.4.3径向基函数网络的应用示例207 
第8章分类预测:Clementine的统计方法209 
8.1Clementine的Logistic回归分析及应用209 
8.1.1二项Logistic回归方程210 
8.1.2二项Logistic回归方程系数的含义212 
8.1.3二项Logistic回归方程的检验214 
8.1.4二项Logistic回归分析的应用示例218 
8.1.5多项Logistic回归分析的应用示例224 
8.2Clementine的判别分析及应用226 
8.2.1距离判别法226 
8.2.2Fisher判别法228 
8.2.3贝叶斯判别法231 
8.2.4判别分析的应用示例233 
第9章探索内部结构:Clementine的关联分析242 
9.1简单关联规则及其有效性242 
9.1.1简单关联规则的基本概念243 
9.1.2简单关联规则的有效性和实用性245 
9.2Clementine的Apriori算法及应用249 
9.2.1产生频繁项集249 
9.2.2依据频繁项集产生简单关联规则251 
9.2.3Apriori算法的应用示例251 
9.3Clementine的GRI算法及应用256 
9.3.1GRI算法基本思路256 
9.3.2GRI算法的具体策略257 
9.3.3GRI算法的应用示例259 
9.4Clementine的序列关联及应用260 
9.4.1序列关联中的基本概念261 
9.4.2Sequence算法262 
9.4.3序列关联的时间约束266 
9.4.4序列关联分析的应用示例266 
第10章探索内部结构:Clementine的聚类分析270 
10.1聚类分析的一般问题270 
10.1.1聚类分析的提出270 
10.1.2聚类分析的算法271 
10.2Clementine的K—Means聚类及应用271 
10.2.1K—Means对“亲疏程度”的测度271 
10.2.2K—Means聚类过程272 
10.2.3K—Means聚类的应用示例275 
10.3Clementine的两步聚类及应用279 
10.3.1两步聚类对“亲疏程度”的测度279 
10.3.2两步聚类过程281 
10.3.3聚类数目的确定282 
10.3.4两步聚类的应用示例284 
10.4Clementine的Kohonen网络聚类及应用286 
10.4.1Kohonen网络的聚类机理286 
10.4.2Kohonen网络的聚类过程288 
10.4.3Kohonen网络聚类的示例290 
10.5基于聚类分析的离群点探索及应用295 
10.5.1多维空间基于聚类的诊断方法296 
10.5.2多维空间基于聚类的诊断方法应用示例299 
参考文献302

序言

前 言
数据挖掘是当前数据分析领域中最活跃最前沿的地带。
任何事物都有定性和定量两个方面,定量则产生数据。从数据分析入手是我们认识事物本质的基本手段。任何事物都是互相关联着的,从数据分析入手是我们把握事物之间联系的基本方法。任何事物都在永恒地变化发展着,从数据分析入手是我们探索事物发展规律的基本思路。所以我们进行数据分析,既是一种世界观,也是一种方法论。我们在研究着丰富多彩的客观世界的同时,也体现着分析者主观的智慧和自身的价值。
随着中国社会经济的蓬勃发展,在错综复杂的宏观、中观和微观的共同作用下,战略决策和战术选择都显得敏感而关键,越来越多的人们加入到数据分析的行列中来。这是一个非常富有挑战性的工作,不但有意思而且有意义。
IBM公司于2009年1月公布了其“智慧地球”战略。该战略的主要思想是,将传感设备或智能仪表嵌入到建筑、电力、交通、管道等各种物体中,进行数据自动采集,之后基于互联网形成物物相联的物联网,然后通过超级计算机和云计算将数据整合,进行智能化分析和建模,从而实现社会与物理世界的融合。这是一个未来理想化的信息世界图景。
在这个智慧系统中,其核心是数据处理。为此,IBM公司于2009年7月斥资12亿美元收购了著名的SPSS 统计分析软件公司,将其应用广泛的SPSS统计分析软件和Clementine数据挖掘软件纳入麾下。同时对软件产品进行了整合,将Clementine更新命名为PASW(Predictive Analytics SoftWare)Modeler,并快速推向市场。
目前,SPSS Clementine软件已经连续若干年蝉联数据挖掘应用的王者,而业界对于PASW Modeler的认知则刚刚开始。所以本书继续沿用为广大读者所熟悉的Clementine这个名字。
Clementine软件不但将计算机科学中许多机器学习的优秀算法带入到数据分析中来,同时也综合了一些行之有效的数据挖掘方法,成为内容最为全面、功能最为强大的数据挖掘产品。
Clementine软件充分利用计算机系统的运算处理能力和图形展现能力,将方法、应用与工具有机地融合为一体,是解决数据挖掘问题的最理想工具。
Clementine软件继续保持了SPSS产品的一贯风格:界面友好且容易使用。复杂的数学算法和冗余的输出结果被软件隐藏在程序系统内部。Clementine软件始终把自己的应用对象锁定在实际部门的业务分析人员,而不是一个数据分析专家。这种“傻瓜型”软件经常遭到一些精英学者的指摘,但是这恰恰成为Clementine成功开拓自己应用疆域的最有效利器。
本书作者常年从事计算机数据分析的教学与科研工作,并长期跟踪研究SPSS公司数据分析产品,具有计算机应用与统计分析的双重学历背景。我们深知,对于数据挖掘这样一款综合方法性的软件工具来说,一个基层的读者应该从哪些方面入手,就能很快地掌握和使用Clementine开始数据挖掘工作,并从中受益。
本书默认读者具有以下特征:具有基础的计算机操作能力;不甚了解数据挖掘的原理和方法;有自己应用领域积累的数据,渴望使用数据挖掘方法解决实际问题。
所以,针对上述读者群,本书的特点是:
1.以数据挖掘过程为线索介绍Clementine软件
目前,具备基本的计算机操作能力已经不是读者的障碍,数据挖掘的过程与方法才是读者关心的主题和应用的难点。各领域众多的读者所面临的问题是:自己拥有的一批数据不知道如何使用Clementine进行组织,不知道如何利用Clementine对它们进行基本加工和整理;其次,不知道选择Clementine中的哪些方法对数据进行分析,不知道如何解释分析结果。
因此,本书以数据挖掘的实践过程为主线,从Clementine数据管理入手,说明问题从浅至深,讲解方法从易到难。这样,能使读者在较短时间内掌握Clementine的基本功能和一般方法,并可快速地运用于实际工作中。
2.数据挖掘方法、软件操作、案例分析的有机结合
目前,由于数据挖掘方法的中文资料相对不足,Clementine相关书籍都比较侧重对其英文手册的翻译介绍,侧重于计算机操作过程的描述。而对数据挖掘方法则较多地罗列数学公式,对于输出结果也缺少恰当的解释。
本书作者配合实际案例,侧重数据挖掘方法核心思想和基本原理的阐述,使得读者可以直观理解方法,并正确掌握方法的应用范围,不至于滥用或者误用。同时介绍软件操作,使得读者能尽快熟悉Clementine软件,从而在理解方法与掌握操作的基础上对输出结果进行合理的解释。
3.数据挖掘方法讲解通俗,软件操作过程说明翔实
针对初学者的特点,本书力求以最通俗的方式对数据挖掘方法的核心思想与基本原理进行讲解,同时避免大量罗列数学公式、数学推导与数学证明,目的是使读者能够直观地了解方法的本质,并正确运用;介绍方法的同时也紧紧围绕Clementine的输出结果展开,以使读者理解分析结论的重要性,会合理地引用分析结果。另外,本书对Clementine的操作过程也给出了较为翔实的说明,但并非是对菜单功能清单的描述,而是将其穿插于分析案例的实现过程中。
本书适合于从事数据分析各应用领域的读者,尤其适合于商业管理、财政经济、金融保险、社会研究、人文教育等行业的相关人员。同时,也能够作为高等院校计算机类、财经类、管理类专业本科生和研究生的数据挖掘教材。
本书共分十章,由薛薇、陈欢歌执笔完成,全书最后由薛薇审核定稿。本书所附光盘配备全书的案例数据和数据流文件。
由于水平所限,书中难免出现错误,敬请读者批评指正。

 

上一页

下一页

上一页

下一页