基于神经元网络的智能控制
神经元网络的特点：
1）非线性
2）分布处理
3）学习并行和自适应
4）数据融合
5）适用于多变量系统
6）便于硬件实现
● 神经元网络的简化模型
?
?
??
?
? ?? ?
?
n
i
ii txwfty
1
)()( ?
y
x
1
x
2
x
n
w
1
w
2
w
n
·
·
·
?
线性系统 非线性函数
?
ai1
ai2
a in
bi1
bi2
bim
wi
y1
y2
y n
u1
uk
um
1
vi x i y i
??
??
???
m
k
ikiki
n
j
iji wtubtyatv
11
)()()(
● 神经元网络的一般模型框架
1）加法器
2）线性动态系统（ SISO）
3）静态非线性系统
︰
︰
式中 aij 和 bik 为权系数,i,j =1,2,…,n,
k= 1,2,… m,n 个加法器可以写成向量形式：
wtButAytv ??? )()()(
w
u
B
y
A
v
—— N维列向量
—— N维列向量（单元输出）
—— N× N维矩阵
—— N× M维矩阵
—— M维列向量（外部输入）
—— M维常向量
▲ 线性动态系统
)()()( svsHsx ii ?传递函数形式：
')'()'( dttvtthx i
l
i ?
??
??按时域形式：
典型的有：
Tte
TthsTsH
/1)(,
1
1)( ??
??
▲ 静态非线性系统 典型的有：
g(x) g(x) g(x)
x
x x
阈值函数 阈值函数 Sigmoid函数
∑
∑
（双极型）
Sigmoid
u1
ui
?i
u1
ui
?i
y i
y i
Adline(自适
应线性网 ）
单层感知器
(Perceptron)
▲ 不同的部件可以组成不同的网络
︰
︰
? Ku
i
y j
yi
离散 Hopfield网
y1
y2
y3
y4
u1
u2
u3
u4
?
yj
yiui
i
i
aTs
a
1
2
?
xi
连续的 Hopfield网
● 按学习的方法神经元网络可分成二类：
1）有监督的学习网络：
感知器
误差反传网络（ BP）
小脑模型连接控制器（ CMAC）
模块（组合）网络
增强学习网络
● 有监督的神经网络
1）感知器网络
感知器是前馈 (正向传输 )网络,所有节点都是线性的,
●
●
●
●
●
●
●
●
●
●
●
●
x1
x2
xn
b1
b2
bm
权向量 W
2）无监督学习网络
竞争学习和 Kohonen网络
Hopfield网络
双向联想存贮器（ BAM）
Boltzman机
bXW ?
bXXXW TT 1)( ??
kkk
kk
T
kkkk
XW
XXWbWW
??
?
??
????
)(1
或
)( kTkkk XWb ???
?
?
0?k?
输入与输出的关系：
权矩阵可以按下式求解：
学习规则：
代表输入与输出的差别。
是学习因子
这学习规则即是著名的 学习规则。
随着学习迭代次数 k的增加,保证网络的收敛。
● 反传（ BP）网络 误差反传（学习算法）
（ BP）网络与感知器的主要差别在于：（ BP）网络的节点
是非线性的。
采用 广义 学习规则。
?
● 反传（ BP）网络的结构图
一个输入层，一个输出层，多个隐层。
j
p
p1
xp1
x pn
t pk
t pm
Op1
O pn
Op2
隐层
wj1
wjn
输入层
隐层
输出层
信息流
hjpS hpjO
·
·
·
·
·
·
pm
??
i
pi
h
ji
h
pj xwS
)( hpjhjhpj SfO ?
??
j
h
pj
o
kj
o
pk OwS
)( opkokopk SfO ?
隐层节点 j输出和输入节点 p的关系：
输出节点 k和隐层输出节点 p的关系：
)( opkpkpk Ot ???
学习过程,定义输出误差
pk?
pj
o
pj
h
ji
h
kj
k
pj
o
pk
o
kj
o
kj
xtwtw
Otwtw
??
??
???
???
)()1(
)()1(
?? ???
? k
o
pkpk
m
k
pkp OtE
2
1
2 )(
2
1
2
1
?
学习的目的是要使以下定义的误差平方和最小：
因此，要求以下的偏导，
o
kj
o
pk
o
kj
p
w
S
w
E
?
?
?
?
最后得到二个权值改变的重要公式：
初始化
加输入和期望输出
计算隐层和输出层的输出
迭代次数加 1
调节输出层和隐层的连接权值
pjopjhjihkj
kpjopkokjokj
xtwtw
Otwtw
??
??
???
???
)()1(
)()1(
改变训练样板
训练样终止？
迭代终止？
BP算法的基本流程
No
No
y
y
重要结论
具有至少一个隐层的多层前馈网络，如果隐层
单元足够多，那么，利用扁平激励函数和线性多
项式集成函数，可以对任意感兴趣的函数逼成到
任意精度 。
扁平激励函数定义,f, R [0,1] 或 [-1,1]是非减函
数,
是。或 1- 1)(lim,1)(lim ??? ?? ?? ???? ff扁平激励函数的参数,
理论证明,多层前馈网络是一种通用逼近器
讨论
1)隐层的数目和节点的数目,何谓合适?
2)是否收敛到全局最优?(涉及多维误差曲
面的不确定性 )
3)收敛的速度问题。 (涉及隐层节点输出
的相互耦合和梯度下降法本身的缺点）
神经元网络的特点：
1）非线性
2）分布处理
3）学习并行和自适应
4）数据融合
5）适用于多变量系统
6）便于硬件实现
● 神经元网络的简化模型
?
?
??
?
? ?? ?
?
n
i
ii txwfty
1
)()( ?
y
x
1
x
2
x
n
w
1
w
2
w
n
·
·
·
?
线性系统 非线性函数
?
ai1
ai2
a in
bi1
bi2
bim
wi
y1
y2
y n
u1
uk
um
1
vi x i y i
??
??
???
m
k
ikiki
n
j
iji wtubtyatv
11
)()()(
● 神经元网络的一般模型框架
1）加法器
2）线性动态系统（ SISO）
3）静态非线性系统
︰
︰
式中 aij 和 bik 为权系数,i,j =1,2,…,n,
k= 1,2,… m,n 个加法器可以写成向量形式：
wtButAytv ??? )()()(
w
u
B
y
A
v
—— N维列向量
—— N维列向量（单元输出）
—— N× N维矩阵
—— N× M维矩阵
—— M维列向量（外部输入）
—— M维常向量
▲ 线性动态系统
)()()( svsHsx ii ?传递函数形式：
')'()'( dttvtthx i
l
i ?
??
??按时域形式：
典型的有：
Tte
TthsTsH
/1)(,
1
1)( ??
??
▲ 静态非线性系统 典型的有：
g(x) g(x) g(x)
x
x x
阈值函数 阈值函数 Sigmoid函数
∑
∑
（双极型）
Sigmoid
u1
ui
?i
u1
ui
?i
y i
y i
Adline(自适
应线性网 ）
单层感知器
(Perceptron)
▲ 不同的部件可以组成不同的网络
︰
︰
? Ku
i
y j
yi
离散 Hopfield网
y1
y2
y3
y4
u1
u2
u3
u4
?
yj
yiui
i
i
aTs
a
1
2
?
xi
连续的 Hopfield网
● 按学习的方法神经元网络可分成二类：
1）有监督的学习网络：
感知器
误差反传网络（ BP）
小脑模型连接控制器（ CMAC）
模块（组合）网络
增强学习网络
● 有监督的神经网络
1）感知器网络
感知器是前馈 (正向传输 )网络,所有节点都是线性的,
●
●
●
●
●
●
●
●
●
●
●
●
x1
x2
xn
b1
b2
bm
权向量 W
2）无监督学习网络
竞争学习和 Kohonen网络
Hopfield网络
双向联想存贮器（ BAM）
Boltzman机
bXW ?
bXXXW TT 1)( ??
kkk
kk
T
kkkk
XW
XXWbWW
??
?
??
????
)(1
或
)( kTkkk XWb ???
?
?
0?k?
输入与输出的关系：
权矩阵可以按下式求解：
学习规则：
代表输入与输出的差别。
是学习因子
这学习规则即是著名的 学习规则。
随着学习迭代次数 k的增加,保证网络的收敛。
● 反传（ BP）网络 误差反传（学习算法）
（ BP）网络与感知器的主要差别在于：（ BP）网络的节点
是非线性的。
采用 广义 学习规则。
?
● 反传（ BP）网络的结构图
一个输入层，一个输出层，多个隐层。
j
p
p1
xp1
x pn
t pk
t pm
Op1
O pn
Op2
隐层
wj1
wjn
输入层
隐层
输出层
信息流
hjpS hpjO
·
·
·
·
·
·
pm
??
i
pi
h
ji
h
pj xwS
)( hpjhjhpj SfO ?
??
j
h
pj
o
kj
o
pk OwS
)( opkokopk SfO ?
隐层节点 j输出和输入节点 p的关系：
输出节点 k和隐层输出节点 p的关系：
)( opkpkpk Ot ???
学习过程,定义输出误差
pk?
pj
o
pj
h
ji
h
kj
k
pj
o
pk
o
kj
o
kj
xtwtw
Otwtw
??
??
???
???
)()1(
)()1(
?? ???
? k
o
pkpk
m
k
pkp OtE
2
1
2 )(
2
1
2
1
?
学习的目的是要使以下定义的误差平方和最小：
因此，要求以下的偏导，
o
kj
o
pk
o
kj
p
w
S
w
E
?
?
?
?
最后得到二个权值改变的重要公式：
初始化
加输入和期望输出
计算隐层和输出层的输出
迭代次数加 1
调节输出层和隐层的连接权值
pjopjhjihkj
kpjopkokjokj
xtwtw
Otwtw
??
??
???
???
)()1(
)()1(
改变训练样板
训练样终止？
迭代终止？
BP算法的基本流程
No
No
y
y
重要结论
具有至少一个隐层的多层前馈网络，如果隐层
单元足够多，那么，利用扁平激励函数和线性多
项式集成函数，可以对任意感兴趣的函数逼成到
任意精度 。
扁平激励函数定义,f, R [0,1] 或 [-1,1]是非减函
数,
是。或 1- 1)(lim,1)(lim ??? ?? ?? ???? ff扁平激励函数的参数,
理论证明,多层前馈网络是一种通用逼近器
讨论
1)隐层的数目和节点的数目,何谓合适?
2)是否收敛到全局最优?(涉及多维误差曲
面的不确定性 )
3)收敛的速度问题。 (涉及隐层节点输出
的相互耦合和梯度下降法本身的缺点）
