数据挖掘
概念与技术
第一章 引言
本章目标
? 理解对大型的、复杂的和信息丰富的数据集进
行分析的必要性。
? 明确数据挖掘过程的目标和首要任务。
? 描述数据挖掘技术的起源。
? 了解数据挖掘过程所具有的迭代过程和基本步
骤。
? 解释数据的质量对数据挖掘过程的影响。
? 建立数据仓库和数据挖掘之间的联系。
1.1概述
? 数据化信息产业的发展引发了数据
的大量聚集，而如何将这些数据转
化成有用有信息和知识是信息领域
所面临的问题。
? 在数据库开发设计中经历了二个阶
段的演化,
? 第一阶段：数据收集和数据库创建, 数
据管理引发了数据存储和检索, 数据库
事务处理技术研究 。
? 第二阶段：数据分析与理解引发了数据
仓库和数据挖掘技术的研究。
△数据仓库和数据挖掘技术的出现从根本
上是为了解决这样一个问题：在创建一
个数据集,考虑数据的存储效率的时候，
同时考虑数据最终如何被使用和分析
? 例如，数据收集和数据库创建机制
为数据存储和检索、查询和事务处
理有效机制开发的必备基础。随着
提供查询和事务处理的大量数据库
系统（如医院中使用的各种信息系
统）广泛应用，数据分析和理解自
然成为下一个目标 。
? 数据挖掘的两个根本目标,预测和描述
预测涉及到使用数据集中的一些变量或域
来预测其他我们关心的变量的未知或未
来的值；描述关注的则是找出描述可由
人类解释的 数据格式 。
1)预测性数据挖掘,生成已知数据集的系统
模型。
2)描述性数据挖掘,在数据集上生成新的、
非同寻常的信息。
?数据挖掘的基本任务,
1.分类,
2.回归,
3.聚类,
4.总结概括,
5.关联建模,
6.变化与偏差检测,
?大部分数据挖掘问题和相应的解决方
法都起源于传统的数据分析 。
?数据挖掘起源于多种学科, 主要是统
计学和机器学习 。
?统计学起源于数学, 它强调数上精确；
机器学习主要起源于计算机实践, 它
侧重于对事物的检验, 确定它表现的
好坏 。
1.2 数据挖掘的起源
?数据挖掘中的基本模型法则起源
于控制理论, 控制理论主要应用
于工程系统和工业过程 。
?在控制理论中通过观察一个未知
系统的输入输出信息, 来决定其
数学模型的问题常被称为系统识
别 。
?系统识别是多样化的, 从数据挖
掘的立场出发是预测系统的行为,
并解释系统变量之间的相互作用
和关系 。
定义：数据挖掘是一个从已知
数据集合中发现和种模型, 概
要和导出值的 过程 。
1.3数据挖掘过程
1.3.1 陈述问题和阐明假设
大多数基于数据的模型研究都是在一
个特定的应用领域里完成的。为了的提
出一个有意义的问题的陈述，需要拥有
该领域内丰富的知识和经验，着重对问
题的清晰描述，而不是过分关注数据挖
掘技术。尽可能地为未知的相关性指定
一组变量，指定此相关性的一个大体形
式作为初始假设。这一步需要应用领域
的专门技术与数据挖掘模型相结合。
1.3.2 数据收集
数据如何收集，有两种截然不同的可能,
1）当数据产生过程在专家的控制下时，称为
,设计实验, 。
2）专家不能影响数据产生过程，称为, 观察
法,,数据随机产生。
通常收集完成后取样的分布也是完全未知
的，或者是在数据收集过程中部分或者不明确
地给出，但要理解数据收集是怎样影响它的理
论分布的，这一点相当重要。
1.3.3 数据预处理
数据常常采集于已有的数据库、数据仓库和数
据集市中。数据预处理有两个任务,
1.异常点的检测 (和去除 )：异常点是与众不同的数
值，它们与大多数观察值不一致。
2.比例缩放、编码和选择特征：数据预处理包括各
种比例缩放和不同类型的编码。
例如：取 [1,0]的特征和取 [-100,100]的特
征，其加权值是不一样的，对数据挖掘的结果的影
响也不尽相同。因此进行比例缩放使它们的加权相
同。
1.3.4 模型评估
选择并实现适当的数据挖掘技术是这一步
骤的主要任务。在应用中，建立在几个模型
的基础上的，从中选择最好的模型是额外的
任务。了解从数据中学习和发掘的基本原则，
并掌握一些特殊的技术，应用这些技术可以
从数据中成功在学习，也可以应用这些的技
术找到适当的模型，这些内容将在相关章节
的获得。
1.3.5 解释模型和得出结论
在大多数应用场合，数据挖掘模型应该
有助于决策。一般来说，简单的模型容易说
明，但其准确性就差一些，现代的数据挖掘
方法着重于使用高维度的模型来获得高精度
的结果。
用特定的技术验证这些结果对这些模型
进行解释说明被认为是一项独立的任务，同
时也是非常重要的。
现实情况是我们分析和理解大规模数
据集的能力远远落后于我们采集数据和存
储数据的能力 。 在数据收集和数据的组织
给力与分析能力之间存在的差距正在迅速
扩大 。
问题的根源是：对于手工分析和解释
来说, 或者甚至对半自动的基于计算机的
分析来说, 数据的规模和维数实在太大了 。
1.4 大型数据集
面对的问题是,
1.对每一数据点都有几十条或几百
条特征描述的几百万数据点进行有
效在挖掘；
2.对几千兆字节的高分辨率的空摄
图像进行分析；
3.对千百个组成部分的人类基因组
数据库。
1.5数据仓库
虽然数据仓库的存在并不是数据挖掘的先
决条件，但通过对数据仓库的访问，数据挖
掘任务变得容易多了，尤其是大公司或医院。
定义：数据仓库是一个集成的，面向主
题的、设计用于决策功能（ DSF）的数据库
的集合，数据中的每一个数据单元在时间上
都是和某个时刻相关的。
?构建数据仓库时应该注意的两
个方面,
第一是数据仓库中存储的特殊数
据类型 （ 分类 ）
第二是为了使数据有利于决策而
把它准备成最终形式所要进行
的转换 。
?数据仓库包括以下的数据类别,
(1)过去细节数据
(2)当前细节数据
(3)轻度综合数据
(4)高度综合数据
(5)元数据 (数据目录或向导 )
在数据仓库中进行这 5种基本类型或导出
数据的准备 。
?数据基本类型的 4种转换方式,
1.简单转换：它一次只集中在一个字段
上, 而不考虑相关字段的值 。
2.清洁和净化：确保一个字段或相关字
段格式和使用的一致性 。
3.集成：对一个或多个来源的操作型数
据进行处理, 进行字段到字段的映射,
形成一个新的数据结构的过程 。
4.聚合和总结：将操作型环境中的数据
实例浓缩成更小的数据仓库环境中实例
的方法 。
?这些转换是我们把数据仓库作
为数据挖掘过程的数据来源的
主要原因 。 如果数据仓库可用
的话, 数据挖掘的预处理阶段
就可以极大在简化, 甚至有时
可以去掉预处理阶段 。
? 数据挖掘与其他典型的数据仓库应用, 如结构化
查询语言 (SQL)和联机分析处理工具 (OLAP),它们
之间有什么不同？
△ SQL是一种在数据库上强加一些约束以便获得答
案 。 而数据挖掘方法用于进行另一种查询, 探测
性的获得隐蔽的而不明显的信息 。
△ OLAP为用户提供多个数据视图来对数据仓库的数
据进行分析, 可以从任意角度观察空间数据或对
其切片和切块, 但不依赖于数据, 也不创造出新
的知识,仅提供导出数据的答案 。 它对数据挖掘
过程很有用, 可作为数据挖掘的一部分, 但不能
代替数据挖掘 。
概念与技术
第一章 引言
本章目标
? 理解对大型的、复杂的和信息丰富的数据集进
行分析的必要性。
? 明确数据挖掘过程的目标和首要任务。
? 描述数据挖掘技术的起源。
? 了解数据挖掘过程所具有的迭代过程和基本步
骤。
? 解释数据的质量对数据挖掘过程的影响。
? 建立数据仓库和数据挖掘之间的联系。
1.1概述
? 数据化信息产业的发展引发了数据
的大量聚集，而如何将这些数据转
化成有用有信息和知识是信息领域
所面临的问题。
? 在数据库开发设计中经历了二个阶
段的演化,
? 第一阶段：数据收集和数据库创建, 数
据管理引发了数据存储和检索, 数据库
事务处理技术研究 。
? 第二阶段：数据分析与理解引发了数据
仓库和数据挖掘技术的研究。
△数据仓库和数据挖掘技术的出现从根本
上是为了解决这样一个问题：在创建一
个数据集,考虑数据的存储效率的时候，
同时考虑数据最终如何被使用和分析
? 例如，数据收集和数据库创建机制
为数据存储和检索、查询和事务处
理有效机制开发的必备基础。随着
提供查询和事务处理的大量数据库
系统（如医院中使用的各种信息系
统）广泛应用，数据分析和理解自
然成为下一个目标 。
? 数据挖掘的两个根本目标,预测和描述
预测涉及到使用数据集中的一些变量或域
来预测其他我们关心的变量的未知或未
来的值；描述关注的则是找出描述可由
人类解释的 数据格式 。
1)预测性数据挖掘,生成已知数据集的系统
模型。
2)描述性数据挖掘,在数据集上生成新的、
非同寻常的信息。
?数据挖掘的基本任务,
1.分类,
2.回归,
3.聚类,
4.总结概括,
5.关联建模,
6.变化与偏差检测,
?大部分数据挖掘问题和相应的解决方
法都起源于传统的数据分析 。
?数据挖掘起源于多种学科, 主要是统
计学和机器学习 。
?统计学起源于数学, 它强调数上精确；
机器学习主要起源于计算机实践, 它
侧重于对事物的检验, 确定它表现的
好坏 。
1.2 数据挖掘的起源
?数据挖掘中的基本模型法则起源
于控制理论, 控制理论主要应用
于工程系统和工业过程 。
?在控制理论中通过观察一个未知
系统的输入输出信息, 来决定其
数学模型的问题常被称为系统识
别 。
?系统识别是多样化的, 从数据挖
掘的立场出发是预测系统的行为,
并解释系统变量之间的相互作用
和关系 。
定义：数据挖掘是一个从已知
数据集合中发现和种模型, 概
要和导出值的 过程 。
1.3数据挖掘过程
1.3.1 陈述问题和阐明假设
大多数基于数据的模型研究都是在一
个特定的应用领域里完成的。为了的提
出一个有意义的问题的陈述，需要拥有
该领域内丰富的知识和经验，着重对问
题的清晰描述，而不是过分关注数据挖
掘技术。尽可能地为未知的相关性指定
一组变量，指定此相关性的一个大体形
式作为初始假设。这一步需要应用领域
的专门技术与数据挖掘模型相结合。
1.3.2 数据收集
数据如何收集，有两种截然不同的可能,
1）当数据产生过程在专家的控制下时，称为
,设计实验, 。
2）专家不能影响数据产生过程，称为, 观察
法,,数据随机产生。
通常收集完成后取样的分布也是完全未知
的，或者是在数据收集过程中部分或者不明确
地给出，但要理解数据收集是怎样影响它的理
论分布的，这一点相当重要。
1.3.3 数据预处理
数据常常采集于已有的数据库、数据仓库和数
据集市中。数据预处理有两个任务,
1.异常点的检测 (和去除 )：异常点是与众不同的数
值，它们与大多数观察值不一致。
2.比例缩放、编码和选择特征：数据预处理包括各
种比例缩放和不同类型的编码。
例如：取 [1,0]的特征和取 [-100,100]的特
征，其加权值是不一样的，对数据挖掘的结果的影
响也不尽相同。因此进行比例缩放使它们的加权相
同。
1.3.4 模型评估
选择并实现适当的数据挖掘技术是这一步
骤的主要任务。在应用中，建立在几个模型
的基础上的，从中选择最好的模型是额外的
任务。了解从数据中学习和发掘的基本原则，
并掌握一些特殊的技术，应用这些技术可以
从数据中成功在学习，也可以应用这些的技
术找到适当的模型，这些内容将在相关章节
的获得。
1.3.5 解释模型和得出结论
在大多数应用场合，数据挖掘模型应该
有助于决策。一般来说，简单的模型容易说
明，但其准确性就差一些，现代的数据挖掘
方法着重于使用高维度的模型来获得高精度
的结果。
用特定的技术验证这些结果对这些模型
进行解释说明被认为是一项独立的任务，同
时也是非常重要的。
现实情况是我们分析和理解大规模数
据集的能力远远落后于我们采集数据和存
储数据的能力 。 在数据收集和数据的组织
给力与分析能力之间存在的差距正在迅速
扩大 。
问题的根源是：对于手工分析和解释
来说, 或者甚至对半自动的基于计算机的
分析来说, 数据的规模和维数实在太大了 。
1.4 大型数据集
面对的问题是,
1.对每一数据点都有几十条或几百
条特征描述的几百万数据点进行有
效在挖掘；
2.对几千兆字节的高分辨率的空摄
图像进行分析；
3.对千百个组成部分的人类基因组
数据库。
1.5数据仓库
虽然数据仓库的存在并不是数据挖掘的先
决条件，但通过对数据仓库的访问，数据挖
掘任务变得容易多了，尤其是大公司或医院。
定义：数据仓库是一个集成的，面向主
题的、设计用于决策功能（ DSF）的数据库
的集合，数据中的每一个数据单元在时间上
都是和某个时刻相关的。
?构建数据仓库时应该注意的两
个方面,
第一是数据仓库中存储的特殊数
据类型 （ 分类 ）
第二是为了使数据有利于决策而
把它准备成最终形式所要进行
的转换 。
?数据仓库包括以下的数据类别,
(1)过去细节数据
(2)当前细节数据
(3)轻度综合数据
(4)高度综合数据
(5)元数据 (数据目录或向导 )
在数据仓库中进行这 5种基本类型或导出
数据的准备 。
?数据基本类型的 4种转换方式,
1.简单转换：它一次只集中在一个字段
上, 而不考虑相关字段的值 。
2.清洁和净化：确保一个字段或相关字
段格式和使用的一致性 。
3.集成：对一个或多个来源的操作型数
据进行处理, 进行字段到字段的映射,
形成一个新的数据结构的过程 。
4.聚合和总结：将操作型环境中的数据
实例浓缩成更小的数据仓库环境中实例
的方法 。
?这些转换是我们把数据仓库作
为数据挖掘过程的数据来源的
主要原因 。 如果数据仓库可用
的话, 数据挖掘的预处理阶段
就可以极大在简化, 甚至有时
可以去掉预处理阶段 。
? 数据挖掘与其他典型的数据仓库应用, 如结构化
查询语言 (SQL)和联机分析处理工具 (OLAP),它们
之间有什么不同？
△ SQL是一种在数据库上强加一些约束以便获得答
案 。 而数据挖掘方法用于进行另一种查询, 探测
性的获得隐蔽的而不明显的信息 。
△ OLAP为用户提供多个数据视图来对数据仓库的数
据进行分析, 可以从任意角度观察空间数据或对
其切片和切块, 但不依赖于数据, 也不创造出新
的知识,仅提供导出数据的答案 。 它对数据挖掘
过程很有用, 可作为数据挖掘的一部分, 但不能
代替数据挖掘 。
