无监督学习神经元网络
● 竞争学习和 Kohonen自组织网络竞争学习根据输入模式来更新权值，输入单元 i与所有输出单元 j 用 wij 连接。输入的数目即为输入的维数，输出的数目即为输入数据要聚类的数目。
))()(()(
))()(()()1(
twtxtw
twtxtwtw
kk
kkk


具有最大激励单元 k（获胜单元） 更新权值,其它不变。
举例,
13.531 701451 80-1 87.361 5141312111xxxxx














8.0
6.0
9 3 9.0
3 4 2.0
7 0 7.0
7 0 7.0
9 8 4 8.0
1 7 3 6.0
6.0
8.05
1
4
1
3
1
2
1
1
1 xxxxx






0
1)0( w
0
1)0(
21w






0
1)1( w
3 1 6.0
9 4 8.0)1(
21w
训练模式,
化成极坐标形式：
归一化的初始权值为：
设?为 0.5,输入 x1后,权值变化为,
第一个神经元为胜者,w1(0) 更接近于 x1,按此方式迭代,直到平衡,
最终向量
● Hopfield网络是单层反馈网络,有二种形式,连续和离散特点,1)自联想,回归 (或全连接 ),所有神经元与其它单元相连,
但,无自连接 ;
2)按内容编址存贮器方式进行操作,新提供的输入模式可自动找到已存贮的合适模式,
工作原理
Hopfield网络可以看成是一个动态系统,其相空间包含代表系统基本存贮内容的固定 (稳定 )点的集合,
Hopfield网络可以检索信息,以一定的误差恢复信息,
i
N
j
jjii swv
1
0
0
0
1
1
i
i
i
i
v
v
v
s 保持以前状态
p.,,,21|,，
p
ji ijNw
1
1

p
p
T I
N
p
NW 1
1

对于具有 N个神经元的网络，其状态可以用向量 S来确定：
TnsssS,...,,21?
S是 N位二进制信息，满足以下条件：
1）时间 t趋近无限，允许回归网络达到稳态；
2）在非线性函数的原点，斜率无穷大，具有硬限幅器特性。
工作过程
1）存贮阶段。确定权值矩阵。设要存贮的向量为：
则按外积规则，神经元 i到神经元 j的连接权定义为：
写成向量形式：
10
）iiNj jii ywS g ny 1(
2）第二阶段 信息检索输入信息，进行 随机的、异步的迭代,直到网络达到稳定，这时单元的输出为：
稳定条件也称匹配条件。状态向量满足匹配条件的称系统 相空间 的稳定点或固定点，检索完成,Hopfield收敛到稳态。





022
202
220
3
1
100
10
001
3
2
111
1
1
1
3
1
111
1
1
1
3
1
W
举例：
由 3个神经元组成的 Hopfield网络，有 2个基本存贮器，存贮 2个向量 [1,-1,1]和 [-1,1,-1]，设计权连接矩阵。
按公式,
2
3
1
+ 2/3
+2 /3
- 2/3
- 2/3
- 2/3
- 2/3
相应的连接图形如右：
8
2
1
1-
1
1-
4
4
4
3
1
1-
1
1-
022
202
220
3
1
1
1-
1
4
4
4
3
1
1
1-
1
022
202
220
3
1
yWY
yWY



满足匹配条件的固定点或向量计算如下：
其它点都是不稳定的点，例如，对 [1,1,1]，和 [1,1,-1]，迭代结果都移向稳定点。


1
1-
1
0
4
0
3
1
1
1
1
022
202
220
3
1WY



1-
1
1-
0
4
4
3
1
1
1
1
022
202
220
3
1WY
对 [1,1,1]
对 [1,1,-1]
ji 21
1 1

ji
N
i
N
j ji
sswE
此过程可用图表示如右：
● 关于 Hopfield网络的稳定性问题设定网络的能量函数：
保证,0 E
1 〈i
N
ij
i jij sws
讨论
Hopfield网络的工作过程有 4个步骤：
1）存贮（学习），异步、随机。
2）初始化，加入初始试样，然后移走。
3）迭代直至收敛
4）输出，得到稳定点。
有能量函数，保证迭代过程能量的增量为负。
连续 Hopfield网络具有同样的性质。
● 双向联想存贮器
BMA是一个双层回归联想存贮器，是 Hopfield网络的扩展，
也是内容编址存贮器,但各单元可以有自反馈。
其连接矩阵可以构造如下：
LL2211 XYXYXYW TT
L表示模式向量为 L对。
为了构造 Y层到 X层的权值矩阵，将 W取成 WT即可。
BAM是双向的，输入和输出取决于转播方向。
i
n
j
iji xwn e t y?
1
YWn e t X T?
m
j
ijii wyn e t x
1
0
0
0
1
1
)1(

i
i
i
ii
n e t y
n e t y
n e t y
yty
0
0
0
1
1
)1(

i
i
i
ii
n e t y
n e t y
n e t y
xtx
BAM数学上处理如下：
netY 是 Y 层总输入，各单元的输入：
在 X层：
netX 是 X 层总输入，各单元的输入：
计算如下和时刻，在 )1( )1(1 tytxt ii
举例：
T
T
T
T
Y
X
Y
X
)11,1,1,1,1(
)1.1,1,1,1,1,1,1,1,1(
)1,1,1,1,1,1(
)1,1,1,1,1,1,1,1,1,1(
2
2
1
1




，
令：







2020202220
0202020002
2020202220
2020202220
2020202220
0202020002
2211
TT
XYXYW
权矩阵计算可得：
T
T
Y
X
)1,1,1,1,1,1(
)1,1,1,1,1,1,1,1,1,1(
0
0

选练样本。说明回忆起第一个的训的新值：传播，向的总输入传播，向
T
n e w
T
n e w
T
XXXY
Y
n et YYYX
)1,1,1,1,1,1,1,1,1,1(
)1,1,1,1,1,1(
,)12,4,12,12,12,4(



T
T
Y
X
)1,1,1,1,1,1(
)1,1,1,1,1,1,1,1,1,1(
0
0

选
),(),(
)1,1,1,11,1(
)1,1,1,1,1,1,1,1,1,1(
11
cc
n e wn e w
T
n e w
T
n e w
YXYX
Y
X

结果：
注意 ! 一定规模的 BAM存贮样本不能太多,否则,
样板之间会产生交叉干扰,以致不能,回忆,起已存贮的信息,



m
i
n
j
iiji
T
xwyE
WXYYXE
BAMBAM
1 1
),(
或的能量函数：中，可以找到在限量。变化时，必改变一个有下限有界，）
减少；的任何变化，使和处理过程中，）
具有以下性质：
E
WEE
EYXBAM
E
ij ij
3); 2
1
m i n?