无监督学习神经元网络
● 竞争学习和 Kohonen自组织网络
竞争学习根据输入模式来更新权值，输入单元 i与所有输
出单元 j 用 wij 连接。输入的数目即为输入的维数，输出的
数目即为输入数据要聚类的数目。
))()(()(
))()(()()1(
twtxtw
twtxtwtw
kk
kkk
??
????
?
?
具有最大激励单元 k（获胜单元） 更新权值, 其它不变。
举例,
?? ?? ????? 13.531 701451 80-1 87.361 5141312111 ???????xxxxx
??
??
?
?
?
??
?
?
?
???
?
???
?
???
?
???
?
??
?
?
?
???
?
???
?
???
?
??
?
?
?
???
??
8.0
6.0
939.0
342.0
707.0
707.0
9848.0
1736.0
6.0
8.05
1
4
1
3
1
2
1
1
1 xxxxx
???
?
???
? ??
???
?
???
??
0
1)0( w
0
1)0(
21w
???
?
???
? ??
???
?
???
??
0
1)1( w
3 1 6.0
9 4 8.0)1(
21w
训练模式,
化成极坐标形式：
归一化的初始权值为：
设 ?为 0.5,输入 x1后,权值变化为,
第一个神经元为胜者,w1(0) 更接近于 x1,按此方式迭代,直到平衡,
最终向量
● Hopfield网络
是单层反馈网络,有二种形式,连续和离散
特点, 1)自联想,回归 (或全连接 ),所有神经元与其它单元相连,
但,无自连接 ;
2)按内容编址存贮器方式进行操作,新提供的输入模式
可自动找到已存贮的合适模式,
工作原理
Hopfield网络可以看成是一个动态系统,其相空间包含代表系统
基本存贮内容的固定 (稳定 )点的集合,
Hopfield网络可以检索信息,以一定的误差恢复信息,
i
N
j
jjii swv ??? ?
? 1
0
0
0
1
1
?
?
?
?
?
?
?
?
?
?
?
i
i
i
i
v
v
v
s 保持以前状态
? ?p....21|,，??? ?
?
?
?
p
ji ijNw
1
1
?
?? ??
p
p
T I
N
p
NW ?? ?? 1
1
?
?? ??
对于具有 N个神经元的网络，其状态可以用向量 S来确定：
? ?TnsssS,.,,,,21?
S是 N位二进制信息，满足以下条件：
1）时间 t趋近无限，允许回归网络达到稳态；
2）在非线性函数的原点，斜率无穷大，具有硬限幅器特性。
工作过程
1）存贮阶段。确定权值矩阵。设要存贮的向量为：
则按外积规则，神经元 i到神经元 j的连接权定义为：
写成向量形式：
10
）iiNj jii ywS g ny ???? ? 1(
2）第二阶段 信息检索
输入信息，进行 随机的、异步的迭代,直到网络达到稳定，这时单元的输出
为：
稳定条件也称匹配条件。状态向量满足匹配条件的称系统 相
空间 的稳定点或固定点，检索完成,Hopfield收敛到稳态。
? ? ? ?
?
?
?
?
?
?
?
?
?
?
?
??
?
?
?
?
?
?
?
?
?
?
?
?
???
?
?
?
?
?
?
?
?
?
?
?
?
??
?
?
?
?
?
?
?
?
?
?
??
022
202
220
3
1
100
10
001
3
2
111
1
1
1
3
1
111
1
1
1
3
1
W
举例：
由 3个神经元组成的 Hopfield网络，有 2个基本存贮器，存贮 2个
向量 [1,-1,1]和 [-1,1,-1]，设计权连接矩阵。
按公式,
2
3
1
+ 2 / 3
+ 2 / 3
- 2 / 3
- 2 / 3
- 2 / 3
- 2 / 3
相应的连接图形如右：
8
2
1
1-
1
1-
4
4
4
3
1
1-
1
1-
022
202
220
3
1
1
1-
1
4
4
4
3
1
1
1-
1
022
202
220
3
1
yWY
yWY
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
??
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
??
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
??
?
?满足匹配条件的固定点或向量计算如下：
其它点都是不稳定的点，例如，对 [1,1,1]，和 [1,1,-1]，迭代结果
都移向稳定点。
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
??
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
??
?
?
1
1-
1
0
4
0
3
1
1
1
1
022
202
220
3
1WY
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
? ?
?
?
?
?
?
?
?
?
?
?
?
??
?
?
?
?
?
?
?
?
?
?
??
?
?
1-
1
1-
0
4
4
3
1
1
1
1
022
202
220
3
1WY
对 [1,1,1]
对 [1,1,-1]
ji 21
1 1
?? ???
? ? ji
N
i
N
j ji
sswE
此过程可用图
表示如右：
● 关于 Hopfield网络的稳定性问题
设定网络的能量函数：
保证,0 E
1 〈i
N
ij
i jij sws ?????
?
?
讨论
Hopfield网络的工作过程有 4个步骤：
1）存贮（学习），异步、随机。
2）初始化，加入初始试样，然后移走。
3）迭代直至收敛
4）输出，得到稳定点。
有能量函数，保证迭代过程能量的增量为负。
连续 Hopfield网络具有同样的性质。
● 双向联想存贮器
BMA是一个双层回归联想存贮器，是 Hopfield网络的扩展，
也是内容编址存贮器,但各单元可以有自反馈。
其连接矩阵可以构造如下：
LL2211 XYXYXYW TT ???????
L表示模式向量为 L对。
为了构造 Y层到 X层的权值矩阵，将 W取成 WT即可。
BAM是双向的，输入和输出取决于转播方向。
i
n
j
iji xwn e ty ?
?
?
1
YWn e tX T?
?
?
?
m
j
ijii wyn e tx
1
0
0
0
1
1
)1(
?
?
?
?
?
?
?
?
?
?
??
i
i
i
ii
n et y
n et y
n et y
yty
0
0
0
1
1
)1(
?
?
?
?
?
?
?
?
?
??
i
i
i
ii
n et y
n et y
n et y
xtx
BAM数学上处理如下：
netY 是 Y 层总输入，各单元的输入：
在 X层：
netX 是 X 层总输入，各单元的输入：
计算如下和时刻，在 )1( )1(1 ??? tytxt ii
举例：
T
T
T
T
Y
X
Y
X
)11,1,1,1,1(
)1.1,1,1,1,1,1,1,1,1(
)1,1,1,1,1,1(
)1,1,1,1,1,1,1,1,1,1(
2
2
1
1
???
??????
?????
??????
，
令：
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
????
??
???
???
???
??
???
2020202220
0202020002
2020202220
2020202220
2020202220
0202020002
2211
TT
XYXYW
权矩阵计算可得：
T
T
Y
X
)1,1,1,1,1,1(
)1,1,1,1,1,1,1,1,1,1(
0
0
?????
???????选
练样本。说明回忆起第一个的训
的新值：传播，向
的总输入传播，向
T
n ew
T
n ew
T
XXXY
Y
n et YYYX
)1,1,1,1,1,1,1,1,1,1(
)1,1,1,1,1,1(
,)12,4,12,12,12,4(
???????
?????
?????
T
T
Y
X
)1,1,1,1,1,1(
)1,1,1,1,1,1,1,1,1,1(
0
0
?????
?????选
),(),(
)1,1,1,11,1(
)1,1,1,1,1,1,1,1,1,1(
11
cc
n ewn ew
T
n ew
T
n ew
YXYX
Y
X
?
?????
??????结果：
注意 ! 一定规模的 BAM存贮样本不能太多,否则,
样板之间会产生交叉干扰,以致不能, 回忆, 起
已存贮的信息,
? ???
??
? ?
m
i
n
j
iiji
T
xwyE
WXYYXE
B A MB A M
1 1
),(
或
的能量函数：中，可以找到在
限量。变化时，必改变一个有
下限有界，）
减少；的任何变化，使和处理过程中，）
具有以下性质：
E
WEE
EYXB A M
E
ij ij
3); 2
1
m i n ?
?