本书主要介绍数据仓库和数据挖掘技术的基本原理和应用方法。全书共分为12章，主要内容包括数据仓库的概念和体系结构、数据仓库的数据存储和处理、数据仓库系统的设计与开发、关联规则、数据分类、数据聚类、贝叶斯网络、粗糙集、神经网络、遗传算法、统计分析、文本和Web挖掘。
本书既重视理论知识的讲解，又强调应用技能的培养。每章首先介绍算法的主要思想和理论基础，之后利用算法去解决实例中给出的任务，而且对于数据仓库的组建方法和多数章节中的数据挖掘算法，书中都使用Microsoft SQL Server 2005进行了操作实现。通过对具体实例的学习和实践，使读者掌握数据仓库和数据挖掘中必要的知识点，达到学以致用的目的。
本书每章均配有习题，习题形式为选择题、简答题和操作题，可以帮助读者进一步掌握和巩固所学知识。此外，本书提供多媒体教学课件和习题参考答案，读者可到清华大学出版社网站http://www.tup.com.cn/下载。
本书可以作为高等学校计算机及相关专业本科、研究生的数据仓库和数据挖掘教材，也可供相关领域的广大科技工作人员和高校师生参考。
本书主要介绍数据仓库和数据挖掘技术的基本原理和应用方法，全书共分为12章，主要内容包括数据仓库的概念和体系结构、数据仓库的数据存储和处理、数据仓库系统的设计与开发、关联规则、数据分类、数据聚类、贝叶斯网络、粗糙集、神经网络、遗传算法、统计分析、文本和Web挖掘。
随着计算机和信息时代的迅猛发展，人类收集、存储和访问数据的能力大大增强，快速增长的海量数据集已经远远超出了人类的理解能力，传统的数据分析工具也显得力不从心。如何才能不被这些海量数据淹没，而是有效地组织这些数据，并且从中找出有价值的知识，帮助人类制定正确的决策？针对这一问题，数据仓库和数据挖掘技术应运而生，并且显示出强大的生命力。要将海量数据转换成为有用的信息和知识，首先要有效地收集和组织数据。数据仓库是良好的数据收集和组织工具，它的任务是搜集来自各个业务系统的有用数据，存放在一个集成的储存区内。在数据仓库丰富完整的数据基础上，数据挖掘技术可以从中挖掘出有价值的知识，从而帮助决策者正确决策。
本书主要介绍数据仓库和数据挖掘技术的基本原理和应用方法，全书共分为12章，主要内容包括数据仓库的概念和体系结构、数据仓库的数据存储和处理、数据仓库系统的设计与开发、关联规则、数据分类、数据聚类、贝叶斯网络、粗糙集、神经网络、遗传算法、统计分析、文本和Web挖掘。其中，前3章主要介绍数据仓库的基本原理和数据仓库系统的组建方法，后面的章节介绍当前流行的数据挖掘算法的主要思想和理论基础，并且给出丰富的应用实例。
本书紧跟数据仓库和数据挖掘技术的发展和人才培养的目标，有以下几个特点。
（1）可读性强，文字叙述深入浅出，易读易用，即使是初学者，阅读起来也比较容易。
（2）概念清晰，条理清楚，内容取舍合理。
（3）本书强调基础，重视实例。各章节都以经典算法为主，介绍其主要思想和基本原理，并且给出恰当和丰富的实例。
（4）书中实例和课后习题实用、丰富，通过练习，读者可以对各个知识点从不同角度得到训练，掌握和巩固所学知识。
（5）教学资源丰富，本书提供多媒体教学课件和习题参考答案，方便教学。对于上述资源，读者可到清华大学出版社的网站http://www.tup.com.cn/下载。
（6）对于数据仓库的组建方法和多数章节中的数据挖掘算法，本书都使用MicrosoftSQLServer2005进行了操作实现，这种做法与市场主流开发工具和技术同步，有利于读者走向社会。
本书各章节之间衔接自然，同时各章节又有一定的独立性，读者可按教材的自然顺序学习，也可以根据实际情况挑选需要的章节学习。
本书可以作为高等学校计算机及相关专业本科、研究生学习数据仓库和数据挖掘的教材，也可供相关领域的广大科技工作人员和高校师生参考。
本书由陈志泊担任主编，第1~3章由聂耿青编写，第5章、第6章和第11章由韩慧编写，第4章和第10章由孙俏编写，第7~9章和第12章由王建新编写。
由于时间仓促，加之编者水平有限，对于书中不足之处敬请读者批评指正。
编者
2017年8月
第1章数据仓库的概念与体系结构
1.1数据仓库的概念、特点与组成
1.1.1数据仓库的特点
1.1.2数据仓库的组成
1.2数据挖掘的概念与方法
1.2.1数据挖掘的分析方法
1.2.2数据仓库与数据挖掘的关系
1.3数据仓库的技术、方法与产品
1.3.1OLAP技术
1.3.2数据仓库实施的关键环节和技术
1.3.3数据仓库实施方法论
1.3.4常用的数据仓库产品
1.4数据仓库系统的体系结构
1.4.1独立的数据仓库体系结构
1.4.2基于独立数据集市的数据仓库体系结构
1.4.3基于依赖型数据集市和操作型数据存储的数据仓库
体系结构
1.4.4基于逻辑型数据集市和实时数据仓库的体系结构
1.5数据仓库的产生、发展与未来
1.5.1数据仓库的产生
1.5.2数据仓库的发展
1.5.3数据仓库的未来
1.5.4新一代数据仓库技术
1.6小结
1.7习题
第2章数据仓库的数据存储与处理
2.1数据仓库的数据结构
2.2数据仓库的数据特征
2.2.1状态数据与事件数据
2.2.2当前数据与周期数据
2.2.3元数据
2.3数据仓库的数据ETL过程
2.3.1ETL的目标
2.3.2ETL过程描述
2.3.3数据抽取
2.3.4数据清洗
2.3.5数据转换
2.3.6数据加载和索引
2.4多维数据模型
2.4.1多维数据模型及其相关概念
2.4.2多维数据模型的实现
2.4.3多维建模技术
2.4.4星型模式举例
2.5小结
2.6习题
第3章数据仓库系统的设计与开发
3.1数据仓库系统的设计与开发概述
3.1.1建立数据仓库系统的步骤
3.1.2数据仓库系统的生命周期
3.1.3建立数据仓库系统的思维模式
3.1.4数据仓库数据库的设计步骤
3.2基于SQLServer2005的数据仓库数据库设计
3.2.1分析组织的业务状况及数据源结构
3.2.2组织需求调研，收集分析需求
3.2.3采用信息包图法设计数据仓库的概念模型
3.2.4利用星型图设计数据仓库的逻辑模型
3.2.5数据仓库的物理模型设计
3.3使用SQLServer2005建立多维数据模型
3.3.1SQLServer2005示例数据仓库环境的配置与使用
3.3.2基于SQLServer2005示例数据库的多维数据模型
3.4小结
3.5习题
第4章关联规则
4.1概述
4.2引例
4.3经典算法
4.3.1Apriori算法
4.3.2FPgrowth算法
4.4相关研究与应用
4.4.1分类
4.4.2SQLServer2005中的关联规则应用
4.5小结
4.6习题
第5章数据分类
5.1引例
5.2分类问题概述
5.2.1分类的过程
5.2.2分类的评价准则
5.3决策树
5.3.1决策树的基本概念
5.3.2决策树算法ID3
5.3.3ID3算法应用举例
5.3.4决策树算法C4.5
5.3.5SQLServer2005中的决策树应用
5.3.6决策树剪枝
5.4支持向量机
5.5近邻分类方法
5.5.1最近邻分类方法
5.5.2k近邻分类方法
5.5.3近邻分类方法应用举例
5.6小结
5.7习题
第6章数据聚类
6.1引例
6.2聚类分析概述
6.3聚类分析中相似度的计算方法
6.3.1连续型属性的相似度计算方法
6.3.2二值离散型属性的相似度计算方法
6.3.3多值离散型属性的相似度计算方法
6.3.4混合类型属性的相似度计算方法
6.4Kmeans聚类算法
6.4.1Kmeans聚类算法的基本概念
6.4.2SQLserver2005中的Kmeans应用
6.5层次聚类方法
6.5.1层次聚类方法的基本概念
6.5.2层次聚类方法应用举例
6.6小结
6.7习题
第7章贝叶斯网络
7.1引例
7.2贝叶斯概率基础
7.2.1先验概率、后验概率和条件概率
7.2.2条件概率公式
7.2.3全概率公式
7.2.4贝叶斯公式
7.3贝叶斯网络概述
7.3.1贝叶斯网络的组成和结构
7.3.2贝叶斯网络的优越性
7.3.3贝叶斯网络的三个主要议题
7.4贝叶斯网络的预测、诊断和训练算法
7.4.1概率和条件概率数据
7.4.2贝叶斯网络的预测算法
7.4.3贝叶斯网络的诊断算法
7.4.4贝叶斯网络预测和诊断的综合算法
7.4.5贝叶斯网络的建立和训练算法
7.5SQLServer2005中的贝叶斯网络应用
7.6小结
7.7习题
第8章粗糙集
8.1引例
8.2分类与知识
8.2.1等价关系和等价类
8.2.2分类
8.3粗糙集
8.3.1分类的运算
8.3.2分类的表达能力
8.3.3上近似集和下近似集
8.3.4正域、负域和边界
8.3.5粗糙集应用举例
8.3.6粗糙集的性质
8.4辨识知识的简化
8.4.1集合近似精度的度量
8.4.2分类近似的度量
8.4.3等价关系的可省略、独立和核
8.4.4等价关系简化举例
8.4.5知识的相对简化
8.4.6知识的相对简化举例
8.5决策规则简化
8.5.1知识依赖性的度量
8.5.2简化决策规则
8.5.3可辨识矩阵
8.6小结
8.7习题
第9章神经网络
9.1引例
9.2人工神经网络
9.2.1人工神经网络概述
9.2.2神经元模型
9.2.3网络结构
9.3BP算法
9.3.1网络结构和数据示例
9.3.2有序导数
9.3.3计算误差信号对参数的有序导数
9.3.4梯度下降
9.3.5BP算法描述
9.4SQLServer2005中的神经网络应用
9.5小结
9.6习题
第10章遗传算法
10.1概述
10.2相关概念
10.3基本步骤
10.3.1概述
10.3.2引例
10.4算法设计
10.4.1编码方式
10.4.2种群规模
10.4.3适应度函数
10.4.4遗传算子
10.4.5终止条件
10.5相关研究与应用
10.6小结
10.7习题
第11章统计分析
11.1线性回归模型
11.1.1线性回归模型的参数估计
11.1.2线性回归方程的判定系数
11.1.3线性回归方程的检验
11.1.4统计软件中的线性回归分析
11.1.5SQLServer2005中的线性回归应用
11.2Logistic回归模型
11.2.1Logistic回归模型的参数估计
11.2.2统计软件中Logistic回归的结果分析
11.2.3SQLServer2005中的Logistic回归应用
11.3时间序列模型
11.3.1ARIMA模型
11.3.2建立ARIMA模型的步骤
11.3.3使用统计软件估计ARIMA模型
11.3.4SQLServer2005中的时间序列分析
11.4小结
11.5习题
第12章文本和Web挖掘
12.1引例
12.2文本挖掘
12.2.1文本信息检索概述
12.2.2基于关键字的关联分析
12.2.3文档自动聚类
12.2.4自动文档分类
12.2.5自动摘要
12.3Web挖掘
12.3.1Web内容挖掘
12.3.2Web结构挖掘
12.3.3Web使用挖掘
12.4小结
12.5习题
参考文献
第5章
数据分类
随着计算机和信息时代的到来，人类收集、存储和访问数据的能力大大增强，快速增长的海量数据集被存储在大型数据库中，随时充斥着我们的计算机、网络和生活，理解如此丰富的数据已经远远超出人类的能力，原有的数据分析工具也显得力不从心。为了不被数据淹没，而是从中及时发现有价值的信息，从而制定正确的决策，数据挖掘技术应运而生，并且显示出强大的生命力。数据挖掘的方法多种多样，包括关联规则挖掘、分类、聚类和统计分析等，其中分类问题是数据挖掘领域中研究和应用最为广泛的技术之一，如何更精确、更有效地分类一直是人们追求的目标。
5.1引例
分类是指把数据样本映射到一个事先定义的类中的学习过程，即给定一组输入的属性向量及其对应的类，用基于归纳的学习算法得出分类。
分类问题是数据挖掘领域中研究和应用最为广泛的技术之一，许多分类算法被包含在统计分析工具的软件包中，作为专门的分类工具来使用。分类问题在商业、银行业、医疗诊断、生物学、文本挖掘和因特网筛选等领域都有广泛应用。例如，在银行业中，分类方法可以辅助工作人员将正常信用卡用户和欺诈信用卡用户进行分类，从而采取有效措施减小银行的损失；在医疗诊断中，分类方法可以帮助医疗人员将正常细胞和癌变细胞进行分类，从而及时制定救治方案，挽救病人的生命；在因特网筛选中，分类方法可以协助网络工作人员将正常邮件和垃圾邮件进行分类，从而制定有效的垃圾邮件过滤机制，防止垃圾邮件干扰人们的正常生活。
分类问题中使用的数据集是用什么形式来表示的呢？如表5.1所示，数据集通过描述属性和类别属性来表示。其中，第一行中的Age，Salary称为数据样本的描述属性，Class称为数据样本的类别属性。从第二行开始的内容分别对应描述属性和类别属性的具体取值。
表5.1分类问题的示例数据集
AgeSalaryClass
30highc1
25highc2
21lowc2
43highc1
18lowc2
33lowc1
在分类问题中，描述属性可以是连续型属性(continuousattribute)，也可以是离散型属性(discreteattribute)；而类别属性必须是离散型属性。所谓连续型属性，是指在某一个区间或者无穷区间内该属性的取值是连续的，表5.1中的属性Age就是连续型属性；离散型属性是指该属性的取值是不连续的，表5.1中的属性Salary和Class就是离散型属性。Salary的具体取值是high和low，表示工资的高和低
,Class的具体取值是c1和c2，表示该数据集分为两个类别。在具体的应用中，针对不同的算法，有时需要将连续属性转化为离散属性。
通过上述介绍，可以将分类问题中使用的数据集表示为X={(xi,yi)|i=1,2,…,
total}，其中数据样本xi(i=1,2,…,total)用d维特征向量xi=(xi1,xi2,…,xid)来表示，xi1,xi2,…,xid分别对应d个描述属性A1,A2,…,Ad的具体取值；yi表示数据样本xi的类标号。假设给定数据集包含m个类别，则yi∈{c1,c2,…,cm}，其中c1,c2,…,cm是类别属性C的具体取值，也称为类标号。对于未知类标号的数据样本x，用d维特征向量x=(x1,x2,…,xd)来表示。
新书资讯