人工神经网络及其应用第 6讲 自组织网络何建华电信系，华中科技大学
2003年 3月 11日
2009-7-25
2
一、自组织神经网络二、自组织竞争网络三、科荷伦网络四、自适应共振网络五、内容小结六、考试事宜内容安排
2009-7-25
3
1.1 自组织网络特点
1.2 网络类型
1.3 网络学习规则一、自组织神经网络
2009-7-25
4
1.1 自组织网络特点
特点
– 自组织神经网络可以自动向环境学习，不需要教师指导；而前面所讲到的前向网络、反馈网络均需要教师指导学习
– 与 BP网络相比，这种自组织自适应的学习能力进一步拓宽了人工神经网络在模式识别、分类方面的应用
思想基础
– 生物的神经网络中，如人的视网膜中，存在着一种
,侧抑制,现象，即一个神经细胞兴奋后，通过它的分支会对周围其他神经细胞产生抑制
– 借鉴上述思想，自组织网络能够对输入模式进行自组织训练和判断，并将输入模式分为不同的类型
2009-7-25
5
1.2 网络类型
需要训练
– 自组织竞争网络
适用与具有典型聚类特性的大量数据的辨识
– Kohunen网络
训练学习后使网络权值分布与输入样本概率密度分布相似
可以作为样本特征检测仪，在样本排序、样本分类及样本检测方面有广泛应用
– 对传网络（ Counter Propagation Network）
在功能上用作统计最优化和概率密度函数分析
可用于图像处理和统计分析
– 神经认知机等
不需要训练
– 自适应共振理论（ ART）
分类的类型数目可自适应增加
2009-7-25
6
1.3 网络学习规则
格劳斯贝格 (S,Grossberg)提出了两种类型的神经元模型：内星与外星，用以来解释人类及动物的学习现象
– 内星可以被训练来识别矢量
– 外星可以被训练来产生矢量
基本学习规则
– 内星学习规则
– 外星学习规则
– 科荷伦学习规则
2009-7-25
7
1.3.1 内星与外星外星通过联接权矢量向外输出一组信号 A
内星通过联接权矢量 W接受一组输入信号 P
2009-7-25
8
1.3.2 内星学习规则
可以通过内星及其学习规则可训练某一神经元节点只响应特定的输入矢量 P，它借助于调节网络权矢量 W近似于输入矢量 P来实现的
单内星中对权值修正的格劳斯贝格内星学习规则为
内星神经元联接强度的变化 Δw 1j与输出成正比的。
– 如果内星输出 a被某一外部方式而维护高值时，通过不断反复地学习，趋使 Δw 1j逐渐减少，直至最终达到 w1j＝ pj，从而使内星权矢量学习了输入矢量 P，达到了用内星来识别一个矢量的目的
– 另一方面，如果内星输出保持为低值时，网络权矢量被学习的可能性较小，甚至不能被学习
2009-7-25
9
1.3.3 外星学习规则
外星网络的激活函数是线性函数。它被用来学习回忆一个矢量，其网络输入 P也可以是另一个神经元模型的输出
外星被训练来在一层 s个线性神经元的输出端产生一个特别的矢量 A
对于一个外星，其学习规则为
与内星不同，外星联接强度的变化 Δw 是与输入矢量 P成正比的
– 当输入矢量被保持高值，比如接近 1时，每个权值 wij将趋于输出 ai值，
若 pj＝ 1，则外星使权值产生输出矢量
– 当输入矢量 pj为 0时，网络权值得不到任何学习与修正
2009-7-25
10
1.3.3 外星学习规则
当有 r个外星相并联，每个外星与 s个线性神经元相连组成一层外星时，其权值修正方式为
– W＝ s× r权值列矢量
– lr＝学习速率
– A＝ s× q外星输出
– P＝ r× q外星输入
2009-7-25
11
1.3.4 科荷伦学习规则
科荷伦学习规则是由内星规则发展而来的
科荷伦规则
科荷伦学习规则实际上是内星学习规则的一个特例，
但它比采用内星规则进行网络设计要节省更多的学习，
因而常常用来替代内星学习规则
2009-7-25
12
二、自组织网络
2.1 网络模型
2.2 竞争网络原理
2.3 网络训练
2009-7-25
13
2.1 网络模型
网络结构
– 竞争网络由单层神经元网络组成，其输入节点与输出节点之间为全互联结。
– 因为网络在学习中的竞争特性也表现在输出层上，
所以在竞争网络中把输出层又称为竞争层，而与输入节点相连的权值及其输入合称为输入层
2009-7-25
14
2.1 网络模型
网络权值的类型
– 输入节点 j到 i的权值 wij(i＝ 1,2…,s； j
＝ 1,2…,r)，这些权值是通过训练可以被调整的
– 竞争层中互相抑制的权值 wik(k＝ 1,2…,
s)。这类权值固定不变，且满足一定的分布关系
是一种对称权值，即有 wik＝ wki
相同神经元之间的权值起加强的作用，即满足
w11＝ w11＝ … ＝ wkk＞ 0，而不同神经元之间的权值相互抑制，对于 k≠i 有 wij＜ 0
2009-7-25
15
2.1 网络模型
网络工作方式
– 输入矢量经过网络前向传递
– 网络竞争
激活函数为硬限制二值函数
竞争网络的激活函数使加权输入和为最大的节点赢得输出为 1，而其他神经元的输出皆为 0(?)
– 权值调整（可以处于训练与工作期间）
竞争网络在经过竞争而求得获胜节点后，则对与获胜节点相连的权值进行调整
调整权值的目的是为了使权值与其输入矢量之间的差别越来越小，从而使训练后的竞争网络的权值能够代表对应输入矢量的特征
2009-7-25
16
2.2 竞争网络原理
竞争网络解释
– 设网络的输入矢量为,P＝ [ p1 p2 … pr]T
– 对应网络的输出矢量为,A＝ [a1 a2 … as]T
– 由于竞争网络中含有两种权值，所以其激活函数的加权输入和也分为两部分：来自输入节点的加权输入和 N与来自竞争层内互相抑制的加权输入和 G。对于第 i个神经元有
来自输入节点的加权输入和为
来自竞争层内互相抑制的加权输入和为
2009-7-25
17
2.2 竞争网络原理
对于第 i个输出神经元
– 假设竞争获胜，则有
从而
– 如果竞争后第 i个节点,输,了，而,赢,的节点为 l，则有
2009-7-25
18
2.2 竞争网络原理
所以对整个网络的加权输入总和有下式成立
– sl=nl+wll 对于,赢,的节点 l
– si=ni-|wii| 对于所有,输,的节点 i＝ 1,2… s，
i≠l
由此可以看出，经过竞争后只有获胜的那个节点的加权输入总和为最大
竞争网络的输出为
因此判断竞争网络节点胜负的结果时，可直接 采用 ni
2009-7-25
19
2.3 网络训练
竞争网络修正权值的公式为
– 式中 lr为学习速率，且 0＜ lr＜ 1，一般的取值范围为 0.01-
0.3； pj为经过归一化处理后的输入
层中每个最接近输入矢量的神经元，通过每次权值调整而使权值矢量逐渐趋于这些输入矢量。从而竞争网络通过学习而识别了在网络输入端所出现的矢量，并将其分为某一类
2009-7-25
20
2.3 网络训练
举例
– 考虑当不同的输入矢量 p1和 p2分别出现在同一内星时的情况
– 为了训练的需要，必须将每一输入矢量都进行单位归一化处理
– 当第一个矢量 p1输入给内星后，网络经过训练，最终达到 W＝ (p1)T。
– 给内星输入另一个输入矢量 p2，此时内星的加权输入和为新矢量 p2与已学习过矢量 p1的点积
– 输入矢量的模已被单位化为 1，所以内星的加权输入和等于输入矢量 p1和 p2之间夹角的余弦
2009-7-25
21
2.3 网络训练
根据不同的情况，内星的加权输入和可分为如下几种情况
– p2等于 p1，即有 θ 12＝ 0，此时，内星加权输入和为 1
– p2不等于 p1，内星加权输入和为 <1
– p2＝ -p1，即 θ 12＝ 180° 时，内星加权输入和达到最小值 -1
训练结果
– 当多个相似输入矢量输入内星，网络的权矢量趋向于相似输入矢量的平均值
– 对于一个已训练过的内星网络，当输入端再次出现该学习过的输入矢量时，内星产生 1的加权输入和
– 而与学习过的矢量不相同的输入出现时，所产生的加权输入和总是小于 1
2009-7-25
22
2.3 网络训练
竞争网络的学习和训练过程，实际上是对输入矢量的划分聚类过程，使得获胜节点与输入矢量之间的权矢量代表获胜输入矢量
竞争网络的输入层节点 r由已知输入矢量决定的。但竞争层的神经元数 s由设计者确定，一般情况下，可根据输入矢量的维数及估计，再适当地增加些数目来确定。
2009-7-25
23
2.4 局限性
竞争网络比较适合用于具有大批相似数组的分类问题
竞争学习网络的局限性
– 竞争网络适用于当具有典型聚类特性的大量数据的辨识
– 当遇到大量的具有概率分布的输入矢量时，竞争网络就无能为力了，这时可采用科荷伦网络来解决此类问题
2009-7-25
24
三、科荷伦网络
3.1 设计思想
3.2 网络模型
3.3 网络训练
2009-7-25
25
3.1 设计动机
神经细胞模型中还存在着一种细胞聚类的功能柱。一个功能柱中的细胞完成同一种功能。它由多个细胞聚合而成的，在接受外界刺激后，
它们会自动形成功能柱
当外界输入不同的样本到科荷伦自组织映射网络中，一开始时输入样本引起输出兴奋的位置各不相同，但通过网络自组织后会形成一些输出群，它们分别代表了输入样本的分布，反映了输入样本的图形分布特征，所以科荷伦网络常常被称为特性图
通常科荷伦网络的权矢量收敛到所代表的输入矢量的平均值，反映输入数据的统计特性
2009-7-25
26
3.2 网络模型
科荷伦网络结构也是两层：输入层和竞争层
竞争层可以由一维或二维网络矩阵方式组成，
且权值修正的策略也不同
– 一维网络结构与基本竞争学习网络相同
– 二维网络结构
2009-7-25
27
3.3 网络训练
神经元领域概念
权值调整范围
– 逐层递减
2009-7-25
28
四,ART神经网络
4.1 网络简介
4.2 网络结构
4.3 工作过程
2009-7-25
29
4.1 网络简介
传统神经网络遇到的问题
– 在样本数据训练的过程中，无论是监督式还是无监督式的训练，均会出现对新模式的学习，时刻面临着新知识的学习记忆荷对旧知识的退化忘却的问题
在监督式的训练情况下，使网络逐渐达到稳定的记忆需要通过反复训练，从而对已学习过的模式的部分甚至是全部的忘却
在无监督情况下，对新的数据的学习同样会产生对某种已经记忆的典型矢量的修改，造成对已学习数据的部分忘却
理想情况
– 能够学会新的知识，同时对已学过的知识没有不利影响
– 在输入矢量特别大的情况下，很难实现。通常只能在新旧知识的取舍上进行某种折衷，最大可能地接受新的知识并较少地影响原有知识
2009-7-25
30
4.1 网络简介
自适应共振理论 (Adaptive Resonance Theory,
ART)网络可以较好地解决前述问题
– 网络和算法具有较大地灵活性，以适应新输入的模式，同时极力避免对网络先前学习过地模式的修改
– 记忆容量可以随样本的增加而自动增加，可以在不破坏原记忆样本的情况下学习新的样本
ART是美国波士顿大学的 A,Carpenter和
Grossberg提出。具有两种形式
– ART1处理双极性（或二进制）数据
– ART2处理连续数据
2009-7-25
31
4.2 ART1网络结构
ART1由两层神经元以及一些控制信号相互结合而成
2009-7-25
32
4.2 网络结构
从输入矢量到输出矢量的作用部分被称为识别层或 R层（ R－ Recognition）
从输出 A作为输入返回到输入的层称为比较层或 C层（ C－ Comparison）
从结构上讲
– R层为一个竞争网络，具有 s个节点，它代表了对输入模式的分类。该节点数能够动态地增长，以满足设立新模式地需要。
– C层为一个 Grossberg网络
2009-7-25
33
4.3 运行过程
将网络的训练与工作与工作过程有机技结合在一起
– 自 C层流向 R层的识别阶段：输入新的矢量 P，通过竞争得出输出 A
– 自 R层流向 C层的比较阶段
按照一定地规则来确定这个新输入是否属于网络衷已经记忆地模式类别，判别标准为新输入模式与所有已记忆模式之间相似程度
R＝ F（ WP＋ B）
如果 R>0,按照科荷伦学习规则修改竞争层权值以使该类权值更加接近于新输入模式
如果 R=0,在网络中设立一个新模式，用以代表和记忆新模式，并将其归结为已有的代表类别，成为 R层的一个新的输出节点，作为以后可能输入的代表模式
– 权值修正阶段
当外界输入 P与所激活的外星权矢量充分相似时，网络发生共振，
本次学习与训练结束
否则，进行特别的处理，直到共振现象发生时对本次输入的训练过程才最终结束
2009-7-25
34
五、内容小结
本次课程简单介绍自组织神经网络的特点以及与其它类型神经网络的区别
介绍了自组织神经网络的三种学习规则；四种神经网络类型
对自组织竞争网络、科荷伦网络和 ART网络的原理、网络结构和训练与工作方式进行了介绍
ART网络相对其它自组织网络之间有较大的优势，将学习与工作过程结合在一起，并较好地解决了学习与记忆的问题
2009-7-25
35
五、内容小结
本学期,神经网络,课程的全部内容至此结束
主要的内容包括
– 简单介绍人工神经网络与生物神经系统、人工智能学科之间关系
– 介绍了神经网络的基本网络结构和学习规则
– 以典型网络模型为代表分别介绍了三种主要的神经网络，前向神经网络、反馈神经网络和自组织神经网络
– 介绍了学习和应用神经网络的基本方法
网络设计思想
网络结构和应用设计
学习与训练算法
– 简单分析了神经网络的稳定性问题及理论
BP网络的收敛速度和稳定问题
反馈网络和 Hopfield网络的稳定性问题
神经网络更多精彩之处需要大家在今后的学习与应用中去发掘，包括稳定性、随机神经网络,VLSI设计等
2009-7-25
36
六、考试事宜
考试内容：以上课所讲内容为主
考试方式：闭卷
考试时间：课程结束后四周
Research Report上交时间：课程结束后八周
– 可以以个人或者小组方式提交 Research Report
– 内容可以包括各种神经网络研究进展、应用的概述，
或者是结合相关的研究课题所做的神经网络的分析或者应用的研究。均需要附恰当的一定数量的文献
– 如果属于概述，需要有一定的及时性、深度和广度
– 如果属于应用研究，需要包括基本问题介绍、应用神经网络的优势分析、实验和结果的对比和分析
成绩公布时间：课程结束后十周
2009-7-25
37
The End
Questions & Suggestions？
Thanks！
2003年 3月 11日
2009-7-25
2
一、自组织神经网络二、自组织竞争网络三、科荷伦网络四、自适应共振网络五、内容小结六、考试事宜内容安排
2009-7-25
3
1.1 自组织网络特点
1.2 网络类型
1.3 网络学习规则一、自组织神经网络
2009-7-25
4
1.1 自组织网络特点
特点
– 自组织神经网络可以自动向环境学习，不需要教师指导；而前面所讲到的前向网络、反馈网络均需要教师指导学习
– 与 BP网络相比，这种自组织自适应的学习能力进一步拓宽了人工神经网络在模式识别、分类方面的应用
思想基础
– 生物的神经网络中，如人的视网膜中，存在着一种
,侧抑制,现象，即一个神经细胞兴奋后，通过它的分支会对周围其他神经细胞产生抑制
– 借鉴上述思想，自组织网络能够对输入模式进行自组织训练和判断，并将输入模式分为不同的类型
2009-7-25
5
1.2 网络类型
需要训练
– 自组织竞争网络
适用与具有典型聚类特性的大量数据的辨识
– Kohunen网络
训练学习后使网络权值分布与输入样本概率密度分布相似
可以作为样本特征检测仪，在样本排序、样本分类及样本检测方面有广泛应用
– 对传网络（ Counter Propagation Network）
在功能上用作统计最优化和概率密度函数分析
可用于图像处理和统计分析
– 神经认知机等
不需要训练
– 自适应共振理论（ ART）
分类的类型数目可自适应增加
2009-7-25
6
1.3 网络学习规则
格劳斯贝格 (S,Grossberg)提出了两种类型的神经元模型：内星与外星，用以来解释人类及动物的学习现象
– 内星可以被训练来识别矢量
– 外星可以被训练来产生矢量
基本学习规则
– 内星学习规则
– 外星学习规则
– 科荷伦学习规则
2009-7-25
7
1.3.1 内星与外星外星通过联接权矢量向外输出一组信号 A
内星通过联接权矢量 W接受一组输入信号 P
2009-7-25
8
1.3.2 内星学习规则
可以通过内星及其学习规则可训练某一神经元节点只响应特定的输入矢量 P，它借助于调节网络权矢量 W近似于输入矢量 P来实现的
单内星中对权值修正的格劳斯贝格内星学习规则为
内星神经元联接强度的变化 Δw 1j与输出成正比的。
– 如果内星输出 a被某一外部方式而维护高值时，通过不断反复地学习，趋使 Δw 1j逐渐减少，直至最终达到 w1j＝ pj，从而使内星权矢量学习了输入矢量 P，达到了用内星来识别一个矢量的目的
– 另一方面，如果内星输出保持为低值时，网络权矢量被学习的可能性较小，甚至不能被学习
2009-7-25
9
1.3.3 外星学习规则
外星网络的激活函数是线性函数。它被用来学习回忆一个矢量，其网络输入 P也可以是另一个神经元模型的输出
外星被训练来在一层 s个线性神经元的输出端产生一个特别的矢量 A
对于一个外星，其学习规则为
与内星不同，外星联接强度的变化 Δw 是与输入矢量 P成正比的
– 当输入矢量被保持高值，比如接近 1时，每个权值 wij将趋于输出 ai值，
若 pj＝ 1，则外星使权值产生输出矢量
– 当输入矢量 pj为 0时，网络权值得不到任何学习与修正
2009-7-25
10
1.3.3 外星学习规则
当有 r个外星相并联，每个外星与 s个线性神经元相连组成一层外星时，其权值修正方式为
– W＝ s× r权值列矢量
– lr＝学习速率
– A＝ s× q外星输出
– P＝ r× q外星输入
2009-7-25
11
1.3.4 科荷伦学习规则
科荷伦学习规则是由内星规则发展而来的
科荷伦规则
科荷伦学习规则实际上是内星学习规则的一个特例，
但它比采用内星规则进行网络设计要节省更多的学习，
因而常常用来替代内星学习规则
2009-7-25
12
二、自组织网络
2.1 网络模型
2.2 竞争网络原理
2.3 网络训练
2009-7-25
13
2.1 网络模型
网络结构
– 竞争网络由单层神经元网络组成，其输入节点与输出节点之间为全互联结。
– 因为网络在学习中的竞争特性也表现在输出层上，
所以在竞争网络中把输出层又称为竞争层，而与输入节点相连的权值及其输入合称为输入层
2009-7-25
14
2.1 网络模型
网络权值的类型
– 输入节点 j到 i的权值 wij(i＝ 1,2…,s； j
＝ 1,2…,r)，这些权值是通过训练可以被调整的
– 竞争层中互相抑制的权值 wik(k＝ 1,2…,
s)。这类权值固定不变，且满足一定的分布关系
是一种对称权值，即有 wik＝ wki
相同神经元之间的权值起加强的作用，即满足
w11＝ w11＝ … ＝ wkk＞ 0，而不同神经元之间的权值相互抑制，对于 k≠i 有 wij＜ 0
2009-7-25
15
2.1 网络模型
网络工作方式
– 输入矢量经过网络前向传递
– 网络竞争
激活函数为硬限制二值函数
竞争网络的激活函数使加权输入和为最大的节点赢得输出为 1，而其他神经元的输出皆为 0(?)
– 权值调整（可以处于训练与工作期间）
竞争网络在经过竞争而求得获胜节点后，则对与获胜节点相连的权值进行调整
调整权值的目的是为了使权值与其输入矢量之间的差别越来越小，从而使训练后的竞争网络的权值能够代表对应输入矢量的特征
2009-7-25
16
2.2 竞争网络原理
竞争网络解释
– 设网络的输入矢量为,P＝ [ p1 p2 … pr]T
– 对应网络的输出矢量为,A＝ [a1 a2 … as]T
– 由于竞争网络中含有两种权值，所以其激活函数的加权输入和也分为两部分：来自输入节点的加权输入和 N与来自竞争层内互相抑制的加权输入和 G。对于第 i个神经元有
来自输入节点的加权输入和为
来自竞争层内互相抑制的加权输入和为
2009-7-25
17
2.2 竞争网络原理
对于第 i个输出神经元
– 假设竞争获胜，则有
从而
– 如果竞争后第 i个节点,输,了，而,赢,的节点为 l，则有
2009-7-25
18
2.2 竞争网络原理
所以对整个网络的加权输入总和有下式成立
– sl=nl+wll 对于,赢,的节点 l
– si=ni-|wii| 对于所有,输,的节点 i＝ 1,2… s，
i≠l
由此可以看出，经过竞争后只有获胜的那个节点的加权输入总和为最大
竞争网络的输出为
因此判断竞争网络节点胜负的结果时，可直接 采用 ni
2009-7-25
19
2.3 网络训练
竞争网络修正权值的公式为
– 式中 lr为学习速率，且 0＜ lr＜ 1，一般的取值范围为 0.01-
0.3； pj为经过归一化处理后的输入
层中每个最接近输入矢量的神经元，通过每次权值调整而使权值矢量逐渐趋于这些输入矢量。从而竞争网络通过学习而识别了在网络输入端所出现的矢量，并将其分为某一类
2009-7-25
20
2.3 网络训练
举例
– 考虑当不同的输入矢量 p1和 p2分别出现在同一内星时的情况
– 为了训练的需要，必须将每一输入矢量都进行单位归一化处理
– 当第一个矢量 p1输入给内星后，网络经过训练，最终达到 W＝ (p1)T。
– 给内星输入另一个输入矢量 p2，此时内星的加权输入和为新矢量 p2与已学习过矢量 p1的点积
– 输入矢量的模已被单位化为 1，所以内星的加权输入和等于输入矢量 p1和 p2之间夹角的余弦
2009-7-25
21
2.3 网络训练
根据不同的情况，内星的加权输入和可分为如下几种情况
– p2等于 p1，即有 θ 12＝ 0，此时，内星加权输入和为 1
– p2不等于 p1，内星加权输入和为 <1
– p2＝ -p1，即 θ 12＝ 180° 时，内星加权输入和达到最小值 -1
训练结果
– 当多个相似输入矢量输入内星，网络的权矢量趋向于相似输入矢量的平均值
– 对于一个已训练过的内星网络，当输入端再次出现该学习过的输入矢量时，内星产生 1的加权输入和
– 而与学习过的矢量不相同的输入出现时，所产生的加权输入和总是小于 1
2009-7-25
22
2.3 网络训练
竞争网络的学习和训练过程，实际上是对输入矢量的划分聚类过程，使得获胜节点与输入矢量之间的权矢量代表获胜输入矢量
竞争网络的输入层节点 r由已知输入矢量决定的。但竞争层的神经元数 s由设计者确定，一般情况下，可根据输入矢量的维数及估计，再适当地增加些数目来确定。
2009-7-25
23
2.4 局限性
竞争网络比较适合用于具有大批相似数组的分类问题
竞争学习网络的局限性
– 竞争网络适用于当具有典型聚类特性的大量数据的辨识
– 当遇到大量的具有概率分布的输入矢量时，竞争网络就无能为力了，这时可采用科荷伦网络来解决此类问题
2009-7-25
24
三、科荷伦网络
3.1 设计思想
3.2 网络模型
3.3 网络训练
2009-7-25
25
3.1 设计动机
神经细胞模型中还存在着一种细胞聚类的功能柱。一个功能柱中的细胞完成同一种功能。它由多个细胞聚合而成的，在接受外界刺激后，
它们会自动形成功能柱
当外界输入不同的样本到科荷伦自组织映射网络中，一开始时输入样本引起输出兴奋的位置各不相同，但通过网络自组织后会形成一些输出群，它们分别代表了输入样本的分布，反映了输入样本的图形分布特征，所以科荷伦网络常常被称为特性图
通常科荷伦网络的权矢量收敛到所代表的输入矢量的平均值，反映输入数据的统计特性
2009-7-25
26
3.2 网络模型
科荷伦网络结构也是两层：输入层和竞争层
竞争层可以由一维或二维网络矩阵方式组成，
且权值修正的策略也不同
– 一维网络结构与基本竞争学习网络相同
– 二维网络结构
2009-7-25
27
3.3 网络训练
神经元领域概念
权值调整范围
– 逐层递减
2009-7-25
28
四,ART神经网络
4.1 网络简介
4.2 网络结构
4.3 工作过程
2009-7-25
29
4.1 网络简介
传统神经网络遇到的问题
– 在样本数据训练的过程中，无论是监督式还是无监督式的训练，均会出现对新模式的学习，时刻面临着新知识的学习记忆荷对旧知识的退化忘却的问题
在监督式的训练情况下，使网络逐渐达到稳定的记忆需要通过反复训练，从而对已学习过的模式的部分甚至是全部的忘却
在无监督情况下，对新的数据的学习同样会产生对某种已经记忆的典型矢量的修改，造成对已学习数据的部分忘却
理想情况
– 能够学会新的知识，同时对已学过的知识没有不利影响
– 在输入矢量特别大的情况下，很难实现。通常只能在新旧知识的取舍上进行某种折衷，最大可能地接受新的知识并较少地影响原有知识
2009-7-25
30
4.1 网络简介
自适应共振理论 (Adaptive Resonance Theory,
ART)网络可以较好地解决前述问题
– 网络和算法具有较大地灵活性，以适应新输入的模式，同时极力避免对网络先前学习过地模式的修改
– 记忆容量可以随样本的增加而自动增加，可以在不破坏原记忆样本的情况下学习新的样本
ART是美国波士顿大学的 A,Carpenter和
Grossberg提出。具有两种形式
– ART1处理双极性（或二进制）数据
– ART2处理连续数据
2009-7-25
31
4.2 ART1网络结构
ART1由两层神经元以及一些控制信号相互结合而成
2009-7-25
32
4.2 网络结构
从输入矢量到输出矢量的作用部分被称为识别层或 R层（ R－ Recognition）
从输出 A作为输入返回到输入的层称为比较层或 C层（ C－ Comparison）
从结构上讲
– R层为一个竞争网络，具有 s个节点，它代表了对输入模式的分类。该节点数能够动态地增长，以满足设立新模式地需要。
– C层为一个 Grossberg网络
2009-7-25
33
4.3 运行过程
将网络的训练与工作与工作过程有机技结合在一起
– 自 C层流向 R层的识别阶段：输入新的矢量 P，通过竞争得出输出 A
– 自 R层流向 C层的比较阶段
按照一定地规则来确定这个新输入是否属于网络衷已经记忆地模式类别，判别标准为新输入模式与所有已记忆模式之间相似程度
R＝ F（ WP＋ B）
如果 R>0,按照科荷伦学习规则修改竞争层权值以使该类权值更加接近于新输入模式
如果 R=0,在网络中设立一个新模式，用以代表和记忆新模式，并将其归结为已有的代表类别，成为 R层的一个新的输出节点，作为以后可能输入的代表模式
– 权值修正阶段
当外界输入 P与所激活的外星权矢量充分相似时，网络发生共振，
本次学习与训练结束
否则，进行特别的处理，直到共振现象发生时对本次输入的训练过程才最终结束
2009-7-25
34
五、内容小结
本次课程简单介绍自组织神经网络的特点以及与其它类型神经网络的区别
介绍了自组织神经网络的三种学习规则；四种神经网络类型
对自组织竞争网络、科荷伦网络和 ART网络的原理、网络结构和训练与工作方式进行了介绍
ART网络相对其它自组织网络之间有较大的优势，将学习与工作过程结合在一起，并较好地解决了学习与记忆的问题
2009-7-25
35
五、内容小结
本学期,神经网络,课程的全部内容至此结束
主要的内容包括
– 简单介绍人工神经网络与生物神经系统、人工智能学科之间关系
– 介绍了神经网络的基本网络结构和学习规则
– 以典型网络模型为代表分别介绍了三种主要的神经网络，前向神经网络、反馈神经网络和自组织神经网络
– 介绍了学习和应用神经网络的基本方法
网络设计思想
网络结构和应用设计
学习与训练算法
– 简单分析了神经网络的稳定性问题及理论
BP网络的收敛速度和稳定问题
反馈网络和 Hopfield网络的稳定性问题
神经网络更多精彩之处需要大家在今后的学习与应用中去发掘，包括稳定性、随机神经网络,VLSI设计等
2009-7-25
36
六、考试事宜
考试内容：以上课所讲内容为主
考试方式：闭卷
考试时间：课程结束后四周
Research Report上交时间：课程结束后八周
– 可以以个人或者小组方式提交 Research Report
– 内容可以包括各种神经网络研究进展、应用的概述，
或者是结合相关的研究课题所做的神经网络的分析或者应用的研究。均需要附恰当的一定数量的文献
– 如果属于概述，需要有一定的及时性、深度和广度
– 如果属于应用研究，需要包括基本问题介绍、应用神经网络的优势分析、实验和结果的对比和分析
成绩公布时间：课程结束后十周
2009-7-25
37
The End
Questions & Suggestions？
Thanks！
