第四章 计算智能 (1)
神经计算
模糊计算
2
?信息科学与生命科学的相互交叉、相互
渗透和相互促进是现代科学技术发展的
一个显著特点。
?计算智能涉及神经网络、模糊逻辑、进
化计算和人工生命等领域,它的研究和
发展正反映了当代科学技术多学科交叉
与集成的重要发展趋势。
4.1 概述
3
什么是计算智能
?把神经网络( NN)归类于人工智能( AI)可
能不大合适,而归类于计算智能( CI)更能
说明问题实质。进化计算、人工生命和模糊
逻辑系统的某些课题,也都归类于计算智能。
?计算智能取决于制造者( manufacturers)提
供的数值数据,不依赖于知识;另一方面,
人工智能应用知识精品( knowledge tidbits)。
人工神经网络应当称为计算神经网络。
4.1 概述
4
计算智能与人工智能的区别和关系
输入
人类知识
(+ )传感输入
知识
(+ )传感数据
计算
(+ )传感器 C-数值的
A-符号的
B-生物的
输入复杂性



BNN BPR BI
ANN APR AI
CNN CPR CI
4.1 概述
5
?A- Artificial,表示人工的 ( 非生物的 ) ;
B- Biological,表示物理的+化学的+
(? ) =生物的;
C- Computational,表示数学+计算机
?计算智能是一种智力方式的低层认知, 它
与人工智能的区别只是认知层次从中层下
降至低层而已 。 中层系统含有知识 ( 精
品 ), 低层系统则没有 。
4.1 概述
6
?当一个系统只涉及数值 ( 低层 ) 数据, 含
有模式识别部分, 不应用人工智能意义上
的知识, 而且能够呈现出:
( 1) 计算适应性;
( 2) 计算容错性;
( 3) 接近人的速度;
( 4) 误差率与人相近,
则该系统就是计算智能系统 。
?当一个智能计算系统以非数值方式加上知
识 ( 精品 ) 值, 即成为人工智能系统 。
4.1 概述
7
?1960年 威德罗和霍夫率先把神经网络用于自
动控制研究。
?60年代末期至 80年代中期,神经网络控制与
整个神经网络研究一样,处于低潮。
?80年代后期以来,随着人工神经网络研究的
复苏和发展,对神经网络控制的研究也十分
活跃。这方面的研究进展主要在神经网络自
适应控制和模糊神经网络控制及其在机器人
控制中的应用上。
4.2 神经计算
4.2.1 人工神经网络研究的进展
8
?并行分布处理
?非线性映射
?通过训练进行学习
?适应与集成
?硬件实现
人工神经网络的特性
4.2 神经计算
9
4.2.2 人工神经网络的结构
4.2 神经计算
-1
?
W j 1X1
X2 Wj2
X n
W j n
···
Σ ?( ) Yi
图 4.2 神经元模型
10
图 4.2中的神经元单元由多个输入 xi,i=1,2,...,n
和一个输出 y组成。中间状态由输入信号的权
和表示,而输出为
( 4.1)
式中,?j为神经元单元的偏置,wji为连接权系
数。 n为输入信号数目,yj为神经元输出,t为
时间,f( )为输出变换函数,如图 4.3。
4.2 神经计算
?
?
??
n
i
jijij xwfty
1
)()( ?
11
(a)
x
f(x)
1
x00
图 4.3 神经元中的某些变换(激发)函数
(a) 二值函数 (b) S形函数 (c) 双曲正切函数
4.2 神经计算
(c)
x
f(x)
1
-1
?
(b)
f(x)
x
1
?
0
12
?人工神经网络是具有下列特性的有向图:
?对于每个节点 i 存在一个状态变量 xi ;
?从节点 j 至节点 i,存在一个连接权系统
数 wij;
?对于每个节点 i,存在一个阈值 ? i;
?对于每个节点 i,定义一个变换函数 fi ;对
于最一般的情况,此函数取
? 形式。
人工神经网络的基本特性和结构
4.2 神经计算
)(? ?
j ijiji
xwf ?
13
?递归(反馈)网络,
在递归网络中,多
个神经元互连以组
织一个互连神经网
络,如图 4.4。
图 4.4 反馈网络
x1
x2
xn
V1
V2
Vn输入 输出
x1’
x2’
xn’
4.2 神经计算
14
?前馈网络,前馈网
络具有递阶分层
结构,由同层神
经元间不存在互
连的层级组成,
如图 4.5。
4.2 神经计算
x1
x2
输入层 输出层隐层
y1
yn
w11
w1m
图 4.5 前馈网络
反向传播
15
?有师学习算法:能够根据期望的和实际
的网络输出(对应于给定输入)间的差
来调整神经元间连接的强度或权。
?无师学习算法:不需要知道期望输出。
?强化学习算法:采用一个“评论员”来
评价与给定输入相对应的神经网络输出
的优度(质量因数)。强化学习算法的
一个例子是遗传算法( GA)。
人工神经网络的主要学习算法
4.2 神经计算
16
表 4.2 人工神经网络的典型模型
模型名称 有师或无师 学习规则 正向或反向传播 应用领域
AG 无 Hebb 律 反向 数据分类
SG 无 Hebb 律 反向 信息处理
ART - I 无 竞争律 反向 模式分类
DH 无 Hebb 律 反向 语音处理
CH 无 Hebb / 竞争律 反向 组合优化
BAM 无 Hebb / 竞争律 反向 图象处理
AM 无 Hebb 律 反向 模式存储
ABAM 无 Hebb 律 反向 信号处理
CABAM 无 Hebb 律 反向 组合优化
F CM 无 Hebb 律 反向 组合优化
LM 有 Hebb 律 正向 过程监控
DR 有 Hebb 律 正向 过程预测,控制
L AM 有 Hebb 律 正向 系统控制
人工神经网络的典型模型
4.2 神经计算
17
O L A M 有 H ebb 律 正向 信号处理
F A M 有 H ebb 律 正向 知识处理
BSB 有 误差修正 正向 实时分类
P er cept r on 有 误差修正 正向 线性分类,预测
A dal i ne/ M adal i ne 有 误差修正 反向 分类,噪声抑制
BP 有 误差修正 反向 分类
AVQ 有 误差修正 反向 数据自组织
CP N 有 H ebb 律 反向 自组织映射
BM 有 H ebb / 模拟退火 反向 组合优化
CM 有 H ebb / 模拟退火 反向 组合优化
AHC 有 误差修正 反向 控制
A RP 有 随机增大 反向 模式匹配,控制
SNMF 有 H ebb 律 反向 语音 / 图象处理
续前表:
4.2 神经计算
18
?基于神经网络的知识表示
在这里,知识并不像在产生式系统
中那样独立地表示为每一条规则,而是
将某一问题的若干知识在同一网络中表
示。例如,在有些神经网络系统中,知
识是用神经网络所对应的有向权图的邻
接矩阵及阈值向量表示的。
4.2.4 基于神经网络的知识表示与推理
4.2 神经计算
19
?基于神经网络的推理是通过网络计算实现
的。把用户提供的初始证据用作网络的输
入,通过网络计算最终得到输出结果。
?一般来说,正向网络推理的步骤如下:
?把已知数据输入网络输入层的各个节点。
?利用特性函数分别计算网络中各层的输出。
?用阈值函数对输出层的输出进行判定,从而
得到输出结果。
基于神经网络的推理
4.2 神经计算
20
论域 U到 [0,1]区间的任一映射,
即,都确定 U的一个模糊子集 F;
称为 F的隶属函数或隶属度。在论域 U中,
可把模糊子集表示为元素 u与其隶属函数
的序偶集合,记为:
(4.7)
定义 4.1 模糊集合 (Fuzzy Sets)
F?
]1,0[,?UF?
)(uF?
}|))(,{( UuuuF F ?? ?
4.3 模糊计算
4.3.1 模糊集合、模糊逻辑及其运算
F?
21
?若模糊集是论域 U中所有满足
的元素 u构成的集合,则称该集合为模
糊集 F的支集。
?当 u满足,称为交叉点。
?当模糊支集为 U中一个单独点,且 u满
足 则称模糊集为模糊单点 。
定义 4.2 模糊支集、交叉点及模糊单点
0)( ?uF?
5.0?F?
0.1?F?
4.3 模糊计算
22
? 设 A和 B为论域 U中的两个模糊集,其隶属函数分别为
和,则对于所有,存在下列运算:
?A与 B的并(逻辑或)记为,其隶属函数定义为:
(4.10)
?A与 B的交(逻辑与)记为,其隶属函数定义为:
(4.11)
A的补(逻辑非)记为,其传递函数定义为:
(4.12)
A?
B? Uu?
BA?
)()()( uuu BABA ??? ??? ? ?)(),(m a x uu BA ???
)()()( uuu BABA ??? ??? ? ?)(),(m in uu BA ???
BA?
)(1)( uu AA ?? ??
A
定义 4.3 模糊集的运算
4.3 模糊计算
23
若 分别为论域 中的模糊
集合,则这些集合的直积是乘积空间 中
一个模糊集合,其隶属函数为,
(4.13)
定义 4.4 直积(笛卡儿乘积,代数积)
nUUU,,,21 ?nAAA,,,21 ?
nUUU ??? ?21
? ?)(,),(m i n),,,( 121 11 nAAnAA uuuuu nn ??? ??? ???
)()()( 21 21 nAAA uuu n??? ??
定义 4.5 模糊关系
若 U,V是两个非空模糊集合,则其直积 U× V
中的模糊子集 R称为从 U到 V的模糊关系,表示为:
(4.14)? ?
VvUuvuvuVU R ????,|)),(),,(( ?
4.3 模糊计算
24
若 R和 S分别为 U× V和 V× W中的模糊关系,则
R和 S的复合是一个从 U到 W的模糊关系,记为:
(4.15)
定义 4.6 复合关系
},,WwVvUu ???
其隶属函数为:
(4.16)
)),(),((),( vuvuwu SRVvSR ??? ??? ?? )(),( WUwu ??
式 (4.9)中的 * 号可为三角范式内的任意一种算子,
包括模糊交、代数积、有界积和直积等。
4.3 模糊计算
25
以实数 R为论域的模糊集 F,若其隶属函数满足
则 F为正态模糊集;若对于任意实数 x,
a<x<b,有 则 F为凸模糊集;
若 F既是正态的又是凸的,则称 F为模糊数。
定义 4.7 正态模糊集、凸模糊集和模糊数
1)(m a x ?? xFRx ?
? ?)(),(m in)( bax FFF ??? ?
定义 4.8 语言变量
一个语言变量可定义为多元组 。
其中,x为变量名; 为 x的词集,即语言值名称
的集合; U为论域; G是产生语言值名称的语法
规则; M是与各语言值含义有关的语法规则 。
),,),(,( MGUxTx
)(xT
4.3 模糊计算
26
?模糊逻辑推理是建立在模糊逻辑基础上的不确
定性推理方法,是在二值逻辑三段论基础上发
展起来的。这种推理方法以模糊判断为前提,
动用模糊语言规则,推导出一个近似的模糊判
断结论。已经提出了 Zadeh法,Baldwin法、
Tsukamoto法,Yager法和 Mizumoto法等方法。
?广义取式假言推理法 (GMP)推理规则可表示为:
前提 1,x为 A’
前提 2:若 x为 A,则 y为 B
结 论,y为 B’
4.1.2 模糊逻辑推理
4.3 模糊计算
27
?广义拒式假言推理法 (GMT,
Generalized Modus Tollens) 的推理规
则可表示为:
前提 1,y为 B
前提 2:若 x为 A,则 y为 B
结 论,x为 A’
?模糊变量的隐含函数基本上可分为三类,
即模糊合取、模糊析取和模糊蕴涵。
4.3 模糊计算
28
?在推理得到的模糊集合中取一个相对最能代
表这个模糊集合的单值的过程就称作 解模糊
或模糊判决 ( Defuzzification)。模糊判决可
以采用不同的方法:重心法、最大隶属度方
法、加权平均法、隶属度限幅元素平均法。
?下面介绍各种模糊判决方法,并以“水温适
中”为例,说明不同方法的计算过程。这里
假设“水温适中”的隶属函数为:
={ X,0.0/0 + 0.0/10 + 0.33/20 + 0.67/30
+ 1.0/40 + 1.0/50+ 0.75/60 + 0.5/70 + 0.25/80 +
0.0/90 + 0.0/100 }
)( iN x?
4.1.3 模糊判决方法
4.3 模糊计算
29
重心法就是取模糊隶属函数曲线与横坐标轴
围成面积的重心作为代表点。理论上应该计算输
出范围内一系列连续点的重心,即
(4.35)
但实际上是计算输出范围内整个采样点的重心,
用足够小的取样间隔来提供所需要的精度,即:
?
??
x N
x N
dxx
dxxx
u
)(
)(
?
?
=48.2
?? ?? )()( iNiNi xxxu ??
4.3 模糊计算
1,重心法
30
例如,对于“水温适中”,按最大隶属度原
则,有两个元素 40和 50具有最大隶属度 1.0,那就
对所有取最大隶属度的元素 40和 50求平均值,执
行量应取:
这种方法最简单,只要在推理结论的模糊集
合中取隶属度最大的那个元素作为输出量即可。
要求这种情况下其隶属函数曲线一定是正规凸模
糊集合(即其曲线只能是单峰曲线)。
452/)5040(m a x ???u
4.3 模糊计算
2,最大隶属度法
31
?系数加权平均法的输出执行量由下式
决定:
(4.36)
式中,系数的选择要根据实际情况
而定,不同的系统就决定系统有不同
的响应特性。
3,系数加权平均法
? ??? iii kxku /
4.3 模糊计算
32
用所确定的隶属度值 α对隶属度函数曲线进
行切割,再对切割后等于该隶属度的所有元素进
行平均,用这个平均值作为输出执行量,这种方
法就称为隶属度限幅元素平均法。
例如,当取 α为最大隶属度值时,表示“完
全隶属”关系,这时 α= 1.0。在“水温适中”的
情况下,40℃ 和 50℃ 的隶属度是 1.0,求其平均值
得到输出代表量:
452/)5040( ???u
4.3 模糊计算
4,隶属度限幅元素平均法
33
?计算智能
?神经计算
?模糊计算
?进化计算
?人工生命
?神经计算:人工神经网络
?模糊计算:模糊逻辑
4.4 小结