2013-3-3 1
人工神经网络
Artificial Neural Networks
2013-3-3 2
课程目的和基本要求
? 作为人工神经网络的入门课程,用于将学
生引入人工神经网络及其应用的研究领域。
? 介绍人工神经网络及其基本网络模型,使
学生
– 了解智能系统描述的基本模型
– 掌握人工神经网络的基本概念、单层网、多层
网、循环网等各种基本网络模型的结构、特点、
典型训练算法、运行方式、典型问题
– 掌握软件实现方法。
2013-3-3 3
课程目的和基本要求
? 了解人工神经网络的有关研究思想,从中
学习开拓者们的部分问题求解方法。
? 通过实验进一步体会有关模型的用法和性
能,获取一些初步的经验。
? 查阅适当的参考文献,将所学的知识与自
己未来研究课题(包括研究生论文阶段的
研究课题)相结合起来,达到既丰富学习
内容,又有一定的研究和应用的目的。
2013-3-3 4
主要内容
? 智能及其实现
? ANN基础
? Perceptron
? BP
? CPN
? 统计方法
? Hopfield网与 BAM
? ART
2013-3-3 5
主要内容
第一章:引论
智能的概念、智能系统的特点及其描述基本
模型,物理符号系统与连接主义的观点及
其比较;人工神经网络的特点、发展历史。
2013-3-3 6
主要内容
第二章 人工神经网络基础
本章在介绍了基本神经元后, 将概要介绍
人工神经网络的一般特性 。 主要包括, 生
物神经网络模型, 人工神经元模型与典型
的激励函数;人工神经网络的基本拓扑特
性, 存 储 类 型 ( CAM── LTM,
AM── STM) 及映象, Supervised训练与
Unsupervised训练 。
2013-3-3 7
主要内容
第三章 感知器
感知器与人工神经网络的早期发展;单层
网能解决线性可分问题,而无法解决线形
不可分问题,要想解决这一问题,必须引
入多层网; Hebb学习律,Delta规则,感知
器的训练算法。
? 实验:实现一个感知器。
2013-3-3 8
主要内容
第四章 向后传播
?BP( Backpropagation)网络的构成及其训
练过程;隐藏层权调整方法的直观分析,BP
训练算法中使用的 Delta规则(最速下降法)
的理论推导;算法的收敛速度及其改进讨论;
BP网络中的几个重要问题。
?实验:实现 BP算法。
2013-3-3 9
主要内容
第五章 对传网
? 生物神经系统与异构网的引入;对传网的
网络结构,Kohonen层与 Grossberg层的正
常运行,对传网的输入向量的预处理,
Kohonen层的训练算法及其权矩阵的初始化
方法; Grossberg层的训练;完整的对传网。
? 实验:实现基本的对传网。
2013-3-3 10
主要内容
第六章 统计方法
? 统计方法是为了解决局部极小点问题而引
入的, 统计网络的基本训练算法, 模拟退
火算法与收敛分析, Cauchy训练, 人工热
处理与临界温度在训练中的使用, BP算法
与 Cauchy训练相结合 。
? 实验:实现模拟退火算法。
2013-3-3 11
主要内容
第七章 循环 网络
? 循环网络的组织, 稳定性分析;相联存储;
统计 Hopfield网与 Boltzmann机; Hopfield
网用于解决 TSP问题 。
? BAM(Bidirectional Associative Memory)
用于实现双联存储;基本双联存储网络的
结构及训练;其他的几种相联存储网络 。
? 实验:实现一个 Hopfield网。
2013-3-3 12
主要内容
第八章 自适应共振理论
? 人脑的稳定性与可塑性问题; ART模型的
总体结构与分块描述;比较层与识别层之
间的两个联接矩阵的初始化,识别过程与
比较过程,查找的实现;训练讨论。
2013-3-3 13
第 1章 引言
? 主要内容,
– 智能与人工智能;
– ANN的特点;
– 历史回顾与展望
? 重点,
– 智能的本质;
– ANN是一个非线性大规模并行处理系统
? 难点,对智能的刻画
2013-3-3 14
第 1章 引言
1.1 人工神经网络的提出
1.2 人工神经网络的特点
1.3 历史回顾
2013-3-3 15
第 1章 引言
? 人类对人工智能的研究可以分成两种方式
对应着 两种不同的技术,
– 传统的人工智能技术 ——心理的角度模拟
– 基于人工神经网络的技术 ——生理的角度模拟
2013-3-3 16
1.1 人工神经网络的提出
? 人工神经网络( Artificial Neural Networks,
简记作 ANN),是对人类大脑系统的一阶
特性的一种描述。简单地讲,它是一个 数
学模型,可以用 电子线路 来实现,也可以
用 计算机程序 来模拟,是人工智能研究的
一种方法。
2013-3-3 17
1.1 人工神经网络的提出
? 1.1.1 智能与人工智能
? 一, 智能的含义
? 智能是个体有目的的行为,合理的思维,
以及有效的、适应环境的综合能力 。
? 智能是个体认识客观事物和运用知识解决
问题的能力 。
? 人类个体的智能是一种综合能力。
2013-3-3 18
1.1 人工神经网络的提出
? 智能可以包含 8个方面
? 感知与认识 客观事物、客观世界和自我的能力
– 感知是智能的基础 ——最基本的能力
? 通过 学习 取得经验与积累知识的能力
– 这是人类在世界中能够不断发展的最基本能力。
? 理解知识, 运用知识 和经验分析、解决问题的能

– 这一能力可以算作是智能的高级形式 。 是人类对世界
进行适当的改造, 推动社会不断发展的基本能力 。
2013-3-3 19
1.1 人工神经网络的提出
? 联想、推理、判断、决策语言 的能力
– 这是智能的高级形式的又一方面。
– 预测和认识
–,主动”和“被动”之分。联想、推理、判断、
决策的能力是“主动”的基础。
? 运用进行抽象、概括的能力
? 上述这 5种能力,被认为是人类智能最为 基
本的能力
2013-3-3 20
1.1 人工神经网络的提出
? 作为 5种能力综合表现形式的 3种能力
– 发现、发明、创造、创新的能力
– 实时、迅速、合理地应付复杂环境的能

– 预测、洞察事物发展、变化的能力
2013-3-3 21
1.1 人工神经网络的提出
? 二、人工智能
? 人工智能:研究如何使类似计算机这样的设备去
模拟人类的这些能力。
? 研究人工智能的目的
– 增加人类探索世界,推动社会前进的能力
– 进一步认识自己
? 三大学术流派
– 符号主义(或叫做符号 /逻辑主义)学派
– 联接主义(或者叫做 PDP)学派
– 进化主义(或者叫做行动 /响应)学派
2013-3-3 22
1.1 人工神经网络的提出
? 1.1.2 物理符号系统
?
人脑的反映 形式化
现实 信息 数据
物理系统 物理符号系统
表现智能
2013-3-3 23
1.1 人工神经网络的提出
? Newell和 Simon假说,一个物理系统表现
智能行为的充要条件是它有一个物理符号
系统
? 概念:物理符号系统需要有一组称为符号
的实体组成,它们都是物理模型,可以在
另一类称为符号结构的实体中作为成分出
现,以构成更高级别的系统
2013-3-3 24
1.1 人工神经网络的提出
? 困难,
– 抽象 ——舍弃一些特性, 同时保留一些特性
– 形式化处理 ——用物理符号及相应规则表达物
理系统的存在和运行 。
? 局限,
– 对全局性判断、模糊信息处理、多粒度的视觉
信息处理等是非常困难的。
2013-3-3 25
1.1 人工神经网络的提出
? 1.1.3 联接主义观点
? 核心:智能的本质是联接机制。
? 神经网络是一个由大量简单的处理单元组
成的高度复杂的大规模非线性自适应系统
? ANN力求从四个方面去模拟人脑的智能行为
– 物理结构
– 计算模拟
– 存储与操作
– 训练
2013-3-3 26
1.1 人工神经网络的提出
? 1.1.4 两种模型的比较
心理过程 逻辑思维 高级形式 ( 思维的表象 )
生理过程 形象思维 低级形式 ( 思维的根本 )
仿生 人工神经网络
联结主义观点
物理符号系统
2013-3-3 27
1.1 人工神经网络的提出
? 物理符号系统和人工神经网络系统的差别
项目 物理符号系统 人工神经网络
处理方式 逻辑运算 模拟运算
执行方式 串行 并行
动作 离散 连续
存储 局部集中 全局分布
2013-3-3 28
1.1 人工神经网络的提出
? 两种人工智能技术的比较
项目 传统的 AI技术 ANN技术
基本实现
方式
串行处理;由程序实现
控制
并行处理;对样本数据进行多目标学习;
通过人工神经元之间的相互作用实现控制
基本开发
方法
设计规则, 框架, 程序;
用样本数据进行调试
( 由人根据已知的环境
去构造一个模型 )
定义人工神经网络的结构原型,通过样本
数据,依据基本的学习算法完成学习 ——
自动从样本数据中抽取内涵(自动适应应
用环境)
适应领域 精确计算:符号处理,
数值计算
非精确计算:模拟处理,感觉,大规模数
据并行处理
模拟对象 左脑 ( 逻辑思维 ) 右脑 ( 形象思维 )
2013-3-3 29
1.2 人工神经网络的特点
?信息的分布表示
?运算的全局并行和局部操作
?处理的非线性
2013-3-3 30
1.2.1 人工神经网络的概念
?1、定义
?1) Hecht—Nielsen( 1988年 )
人工神经网络是一个并行、分布处理结构,它由
处理单元及其称为联接的无向讯号通道互连而成。
这些处理单元( PE—Processing Element)具有
局部内存,并可以完成局部操作。每个处理单元
有一个单一的输出联接,这个输出可以根据需要
被分枝成希望个数的许多并行联接,且这些并行
联接都输出相同的信号,即相应处理单元的信号,
信号的大小不因分支的多少而变化。
2013-3-3 31
1.2.1 人工神经网络的概念
? ( 1) Hecht—Nielsen( 1988年)(续)
? 处理单元的输出信号可以是任何需要
的数学模型,每个处理单元中进行的
操作必须是完全局部的。也就是说,
它必须仅仅依赖于经过输入联接到达
处理单元的所有输入信号的当前值和
存储在处理单元局部内存中的值。
2013-3-3 32
1.2.1 人工神经网络的概念
? 强调,
– ① 并行, 分布处理结构;
– ② 一个处理单元的输出可以被任意分枝, 且
大小不变;
– ③ 输出信号可以是任意的数学模型;
– ④ 处理单元完全的局部操作
2013-3-3 33
1.2.1 人工神经网络的概念
? ( 2) Rumellhart,McClelland,Hinton的 PDP
? 1) 一组处理单元 ( PE或 AN) ;
? 2) 处理单元的 激活状态 ( ai) ;
? 3) 每个处理单元的 输出函数 ( fi) ;
? 4) 处理单元之间的 联接模式 ;
? 5) 传递规则 ( ∑wijoi) ;
? 6) 把处理单元的输入及当前状态结合起来产生
激活值的 激活规则 ( Fi) ;
? 7) 通过经验修改联接强度的 学习规则 ;
? 8) 系统运行的环境 ( 样本 集合 ) 。
2013-3-3 34
1.2.1 人工神经网络的概念
? ( 3) Simpson( 1987年 )
? 人工神经网络是一个非线性的有向图,图
中含有可以通过改变权大小来存放模式的
加权边,并且可以从不完整的或未知的输
入找到模式。
2013-3-3 35
1.2.1 人工神经网络的概念
? 2,关键点
? ( 1) 信息的分布表示
? ( 2) 运算的全局并行与局部操作
? ( 3) 处理的非线性特征
? 3,对大脑基本特征的模拟
? 1) 形式上:神经元及其联接; BN对 AN
? 2) 表现特征:信息的存储与处理
2013-3-3 36
1.2.1 人工神经网络的概念
? 4,别名
? 人工神经系统 ( ANS)
? 神经网络 ( NN)
? 自适应系统 ( Adaptive Systems), 自适应
网 ( Adaptive Networks)
? 联接模型 ( Connectionism)
? 神经计算机 ( Neurocomputer)
2013-3-3 37
1.2.2 学习( Learning)能力
? 人工神经网络可以根据所在的环境去改变
它的行为
? 自相联的网络
? 异相联的网络, 它在接受样本集合 A时, 可
以抽取集合 A中输入数据与输出数据之间的
映射关系 。 ——―抽象, 功能 。
? 不同的人工神经网络模型,有不同的学习 /
训练算法
2013-3-3 38
1.2.3 基本特征的自动提取
? 由于其运算的 不精确性, 表现成, 去噪音,
容残缺, 的能力, 利用这种不精确性, 比
较自然地实现模式的自动分类 。
? 普化( Generalization)能力与抽象能力
2013-3-3 39
1.2.4 信息的分布存放
? 信息的分布存提供容错功能
– 由于信息被分布存放在几乎整个网络中,所以,当其
中的某一个点或者某几个点被破坏时,信息仍然可以
被存取。
? 系统在受到 局部 损伤时还可以正常工作。
? 并不是说可以任意地对完成学习的网络进行修改。
也正是由于信息的分布存放,对一类网来说,当
它完成学习后,如果再让它学习新的东西,这时
就会破坏原来已学会的东西。
2013-3-3 40
1.2.5适应性 (Applicability)问题
? 擅长两个方面,
– 对大量的数据进行分类, 并且只有较少的几种
情况;
– 必须学习一个复杂的非线性映射 。
? 目前应用,
– 人们主要将其用于语音、视觉、知识处理、辅
助决策等方面。
– 在数据压缩、模式匹配、系统建模、模糊控制、
求组合优化问题的最佳解的近似解(不是最佳
近似解)等方面也有较好的应用。
2013-3-3 41
1.3 历史回顾
? 1.3.1 萌芽期 ( 20世纪 40年代 )
? 人工神经网络的研究最早可以追溯到人类
开始研究自己的智能的时期, 到 1949年止 。
? 1943年, 心理学家 McCulloch和数学家 Pitts
建立起了著名的阈值加权和模型, 简称为
M-P模型 。 发表于数学生物物理学会刊
,Bulletin of Methematical Biophysics,
? 1949年,心理学家 D,O,Hebb提出神经元之
间突触联系是可变的假说 ——Hebb学习律。
2013-3-3 42
1.3.2 第一高潮期( 1950~1968)
? 以 Marvin Minsky, Frank Rosenblatt,
Bernard Widrow等为代表人物, 代表作是
单级感知器 ( Perceptron) 。
? 可用电子线路模拟 。
? 人们乐观地认为几乎已经找到了智能的关
键。许多部门都开始大批地投入此项研究,
希望尽快占领制高点。
2013-3-3 43
1.3.3 反思期( 1969~1982)
? M,L,Minsky和 S,Papert,,Perceptron》,
MIT Press,1969年
? 异或, 运算不可表示
? 二十世纪 70年代和 80年代早期的研究结果
? 认识规律:认识 ——实践 ——再认识
2013-3-3 44
1.3.4 第二高潮期( 1983~1990)
? 1982年,J,Hopfield提出循环网络
– 用 Lyapunov函数 作为网络性能判定的能量函
数,建立 ANN稳定性的判别依据
– 阐明了 ANN与动力学的关系
– 用非线性动力学的方法来研究 ANN的特性
– 指出信息被存放在网络中神经元的联接上
? ?? ?? ?
? ??? ?
????
n
i
n
j
ij
n
i
x
iiiii
n
i
n
j
jiij wdsxsxswV
i
1 11 01 1
)()()()(
2
1 ????
2013-3-3 45
1.3.4 第二高潮期( 1983~1990)
? 2) 1984年,J,Hopfield设计研制了后来被
人们称为 Hopfield网 的电路。较好地解决了
著名的 TSP