1
1
Pattern Recognition
Feng Jufu
fjf@cis.pku.edu.cn
Center for Information Science
National Key Lab of Machine Perception
Peking University
2
内容
z 1．导论
z 2．Bayes决策理论
z 3．概率密度估计
z 4．线性判别函数
z 5．神经网络
z 6．统计学习理论
z 7．SVM
z 8．正则化网络
z 9．特征空间
z 10.非监督学习与聚类
z 11,应用举例
3
References
z [1] Richard O,Duda,Peter E,Hart,David G,Stork,Pattern
Classification,2
nd
Edition,John Wiley & Sons,Inc,2001
z [2],模式识别》，边肇祺，张学工等编著，清华大学出版社，2000
年1月第2版
z [3] Vladimir N,Vapnik,The Nature of Statistical Learning,Springer-
Verlag,New York,NY,1995 (中译本《统计学习理论的本质》，张学工译，清华大学出版社，2000年9月)
z [4] Vladimir N,Vapnik,Statistical Learning Theory,John Wiley &
Sons,Inc,1998
z [5] Nello Cristianini,John Shawe-Taylor,An Introduction to Support
Vector Machines and other kernel-based learning methods,
Cambridge University Press,2000
z [6] S,Haykin,Neural Networks — a Comprehensive Foundation,
2nd Edition,Tsinghua University Press,Prentice Hall Press,2001.
4
主要期刊和会议
z IEEE Trans,On PAMI,NN
z Pattern Recognition
z Pattern Recognition Letter
z Machine Learning
z Neural Computation
z《模式识别与人工智能》
z CVPR、ICPR、ICML、COLT、NIPS……
5
第一章导论
z模式识别简介
z基本概念
z模式识别方法
z模式识别应用
6
Introduction
z Pattern recognition is the study of how
machines can observe the environment,learn
to distinguish patterns of interest from their
background,and make sound and reasonable
decisions about the categories of the patterns,
(Anil K,Jain)
2
7
What is a Pattern?
z Watanabe defines a pattern,as opposite of a
chaos; it is an entity,vaguely defined,that
could be given a name.”
– a fingerprint image
– a handwritten cursive word
– a human face
– a speech signal
– ……
8
识别
z识别是时时刻刻发生的
z识别（Recognition)—再认知（Re-Cognition)
z主要研究相似和分类问题
–有监督分类
–无监督分类
9
与其他学科的关系
z统计学
z人工智能
z机器学习
z运筹学
10
模式识别系统
z数据获取和预处理
z数据表达
z决策
11
基本概念
z识别（Recognition）
z决策（Decision）
z学习（Learning）
z Generalization
12
Generalize
z To reduce to a general form,class,or law.
z使一般化赋予一普遍形式、种类或定律
z To render indefinite or unspecific.
z使概括使不确定或不具体
z To infer from many particulars.
z概括出，归纳从许多特殊事物中推论
z To draw inferences or a general conclusion from.
z概括从…中得出推论或一普遍结论
z To make generally or universally applicable.
z使普遍适用，使全球适用
z To popularize.
z推广
3
13
模式识别的方法
z模版匹配
z统计方法
z句法方法
z神经网络
14
模版匹配
z首先对每个类别建立一个或多个模版
z输入样本和数据库中每个类别的模版进行比较，
求相关或距离
z根据相关性或距离大小进行决策
z优点：直接、简单
z缺点：适应性差
z形变模版
15
统计方法
z根据训练样本，建立决策边界
z统计决策理论——根据每一类总体的概率分布决定决策边界
z判别分析方法——给出带参数的决策边界，根据某种准则，由训练样本决定“最优”的参数
z本课程的重点内容
16
句法方法
z许多复杂的模式可以分解为简单的子模式，这些子模式组成所谓“基元”
z每个模式都可以由基元根据一定的关系来组成
z基元可以认为是语言中的字母，每个模式都可以认为是一个句子，关系可以认为是语法
z模式的相似性由句子的相似性来决定
z优点：适合结构性强的模式
z缺点：抗噪声能力差，计算复杂度高
17
神经网络
z大规模并行计算
z学习、推广、自适应、容错、分布表达和计算
z优点：可以有效的解决一些复杂的非线性问题
z缺点：缺少有效的学习理论
18
神经网络和统计模式识别的关系
Kohonen’sLVQK近邻径向基函数网络Parzen窗密度估计分类器多层感知机非线性决策分析多层感知机后验概率估计自相关网络，PCA网络PCA
感知机线性决策函数人工神经网络统计模式识别
4
19
几种方法比较均值方差错误网络函数样本，像元，特征神经网络接受错误规则，语法基元句法方法分类错误决策函数特征统计方法分类错误相关，距离度量样本，像元，曲线模版匹配典型准则识别函数表达方法
20
模式识别应用
z文本分类
z文本图像分析
z工业自动化
z数据挖掘
z多媒体数据库检索
z生物特征识别
z语音识别
z生物信息学
z遥感
z。。。。。。
1
Pattern Recognition
Feng Jufu
fjf@cis.pku.edu.cn
Center for Information Science
National Key Lab of Machine Perception
Peking University
2
内容
z 1．导论
z 2．Bayes决策理论
z 3．概率密度估计
z 4．线性判别函数
z 5．神经网络
z 6．统计学习理论
z 7．SVM
z 8．正则化网络
z 9．特征空间
z 10.非监督学习与聚类
z 11,应用举例
3
References
z [1] Richard O,Duda,Peter E,Hart,David G,Stork,Pattern
Classification,2
nd
Edition,John Wiley & Sons,Inc,2001
z [2],模式识别》，边肇祺，张学工等编著，清华大学出版社，2000
年1月第2版
z [3] Vladimir N,Vapnik,The Nature of Statistical Learning,Springer-
Verlag,New York,NY,1995 (中译本《统计学习理论的本质》，张学工译，清华大学出版社，2000年9月)
z [4] Vladimir N,Vapnik,Statistical Learning Theory,John Wiley &
Sons,Inc,1998
z [5] Nello Cristianini,John Shawe-Taylor,An Introduction to Support
Vector Machines and other kernel-based learning methods,
Cambridge University Press,2000
z [6] S,Haykin,Neural Networks — a Comprehensive Foundation,
2nd Edition,Tsinghua University Press,Prentice Hall Press,2001.
4
主要期刊和会议
z IEEE Trans,On PAMI,NN
z Pattern Recognition
z Pattern Recognition Letter
z Machine Learning
z Neural Computation
z《模式识别与人工智能》
z CVPR、ICPR、ICML、COLT、NIPS……
5
第一章导论
z模式识别简介
z基本概念
z模式识别方法
z模式识别应用
6
Introduction
z Pattern recognition is the study of how
machines can observe the environment,learn
to distinguish patterns of interest from their
background,and make sound and reasonable
decisions about the categories of the patterns,
(Anil K,Jain)
2
7
What is a Pattern?
z Watanabe defines a pattern,as opposite of a
chaos; it is an entity,vaguely defined,that
could be given a name.”
– a fingerprint image
– a handwritten cursive word
– a human face
– a speech signal
– ……
8
识别
z识别是时时刻刻发生的
z识别（Recognition)—再认知（Re-Cognition)
z主要研究相似和分类问题
–有监督分类
–无监督分类
9
与其他学科的关系
z统计学
z人工智能
z机器学习
z运筹学
10
模式识别系统
z数据获取和预处理
z数据表达
z决策
11
基本概念
z识别（Recognition）
z决策（Decision）
z学习（Learning）
z Generalization
12
Generalize
z To reduce to a general form,class,or law.
z使一般化赋予一普遍形式、种类或定律
z To render indefinite or unspecific.
z使概括使不确定或不具体
z To infer from many particulars.
z概括出，归纳从许多特殊事物中推论
z To draw inferences or a general conclusion from.
z概括从…中得出推论或一普遍结论
z To make generally or universally applicable.
z使普遍适用，使全球适用
z To popularize.
z推广
3
13
模式识别的方法
z模版匹配
z统计方法
z句法方法
z神经网络
14
模版匹配
z首先对每个类别建立一个或多个模版
z输入样本和数据库中每个类别的模版进行比较，
求相关或距离
z根据相关性或距离大小进行决策
z优点：直接、简单
z缺点：适应性差
z形变模版
15
统计方法
z根据训练样本，建立决策边界
z统计决策理论——根据每一类总体的概率分布决定决策边界
z判别分析方法——给出带参数的决策边界，根据某种准则，由训练样本决定“最优”的参数
z本课程的重点内容
16
句法方法
z许多复杂的模式可以分解为简单的子模式，这些子模式组成所谓“基元”
z每个模式都可以由基元根据一定的关系来组成
z基元可以认为是语言中的字母，每个模式都可以认为是一个句子，关系可以认为是语法
z模式的相似性由句子的相似性来决定
z优点：适合结构性强的模式
z缺点：抗噪声能力差，计算复杂度高
17
神经网络
z大规模并行计算
z学习、推广、自适应、容错、分布表达和计算
z优点：可以有效的解决一些复杂的非线性问题
z缺点：缺少有效的学习理论
18
神经网络和统计模式识别的关系
Kohonen’sLVQK近邻径向基函数网络Parzen窗密度估计分类器多层感知机非线性决策分析多层感知机后验概率估计自相关网络，PCA网络PCA
感知机线性决策函数人工神经网络统计模式识别
4
19
几种方法比较均值方差错误网络函数样本，像元，特征神经网络接受错误规则，语法基元句法方法分类错误决策函数特征统计方法分类错误相关，距离度量样本，像元，曲线模版匹配典型准则识别函数表达方法
20
模式识别应用
z文本分类
z文本图像分析
z工业自动化
z数据挖掘
z多媒体数据库检索
z生物特征识别
z语音识别
z生物信息学
z遥感
z。。。。。。
