人工神经网络及其应用第 2讲 神经网络基础知识何建华电信系，华中科技大学
2003年 2月 21日内容安排一、生物神经元二、人工神经网络结构三、神经网络基本学习算法一、生物神经元
生物神经元
突触信息处理
信息传递功能与特点
1.1 生物神经元
神经元是大脑处理信息的基本单元
人脑大约由 1011个神经元组成，神经元互相连接成神经网络
神经元以细胞体为主体，由许多向周围延伸的不规则树枝状纤维构成的神经细胞，
其形状很像一棵枯树的枝干
主要由细胞体、树突、轴突和突触
(Synapse，又称神经键 )组成生物神经元示意图
1.2 突触的信息处理
生物神经元传递信息的过程为多输入,单输出
神经元各组成部分的功能来看，信息的处理与传递主要发生在突触附近
当神经元细胞体通过轴突传到突触前膜的脉冲幅度达到一定强度，即超过其阈值电位后，突触前膜将向突触间隙释放神经传递的化学物质
突触有两种类型，兴奋性突触和抑制性突触。
前者产生正突触后电位，后者产生负突触后电位
1.3 信息传递功能与特点
具有时空整合能力
不可逆性，脉冲只从突触前传到突触后，不逆向传递
神经纤维传导的速度，即脉冲沿神经纤维传递的速度，在 1— 150m／ s之间
信息传递时延和不应期，一般为 0.3～ lms
可塑性，突触传递信息的强度是可变的，即具有学习功能
存在学习、遗忘或疲劳（饱和）效应
– 对应突触传递作用增强、减弱和饱和二、人工神经网络结构
人工神经网络
人工神经元模型
常见响应函数
人工神经网络典型结构
2.1 人工神经网络
直观理解
– 神经网络是一个并行和分布式的信息处理网络结构
– 它一般由大量神经元组成
每个神经元只有一个输出，可以连接到很多其他的神经元
每个神经元输入有多个连接通道，每个连接通道对应于一个连接权系数
通用模型
求和操作
响应函数
2.2 人工神经元模型
2.2 人工神经元模型
响应函数的基本作用
– 控制输入对输出的激活作用
– 对输入、输出进行函数转换
– 将可能无限域的输入变换成指定的有限范围内的输出
(a)阈值单元
(b)线性单元
(c)(d)非线性单元,Sigmoid函数
2.3 常见神经元响应函数
2.3 常见神经元响应函数人工神经元的响应函数
神经元的模型确定之后，一个神经网络的特性及能力主要取决于网络的拓扑结构及学习方法
人工神经网络连接的几种基本形式
– 前向网络 (a)
– 从输出到输入有反馈的前向网络 (b)
用来存储某种模式序列
– 层内互连前向网络 (c)
限制层内同时动作的神经元；分组功能
– 相互结合型网络 (d)
2.4 人工神经网络典型结构神经 网络 的典型结构
权值确定
Hebb学习规则
误差校正（纠错）学习规则
相近（无教师）学习规则三、神经网络基本学习算法
人工神经网络连接权的确定通常有两种方法
– 根据具体要求，直接计算，如 Hopfield网络作优化计算
– 通过学习得到的。大多数人工神经网络都采用这种方法
学习方法是人工神经网络研究中的核心问题
3.1 权值确定
Donall Hebb根据生理学中条件反射机理，于
1949年提出的神经元连接强度变化的规则
– 如果两个神经元同时兴奋 (即同时被激活 )，则它们之间的突触连接加强
– a为学习速率,Vi,Vj为神经元 i和 j的输出
Hebb学习规则是人工神经网络学习的基本规则，
几乎所有神经网络的学习规则都可以看作 Hebb
学习规则的变形
3.2 Hebb学习规则
用已知样本作为教师对网络进行学习
学习规则可由二次误差函数的梯度法导出
误差校正学习规则实际上是一种梯度方法
– 不能保证得到全局最优解
– 要求大量训练样本，收敛速度慢
– 对样本地表示次序变化比较敏感
3.3 误差校正规则
()i j i i jv
3.3 无教师学习规则
这类学习不在于寻找一个特殊映射的表示，而是将事件空间分类为输入活动区域，并有选择地对这些区域响应，从而调整参数一反映观察事件的分部
输入可以市连续值，对噪声有较强地抗干扰能力
对较少输入样本，结果可能要依赖于输入序列
在 ART,Kohonen等自组织竞争型网络中采用小结一、生物神经元二、人工神经网络结构三、神经网络基本学习算法下次课程将介绍 MP模型和 BP模型
2003年 2月 21日内容安排一、生物神经元二、人工神经网络结构三、神经网络基本学习算法一、生物神经元
生物神经元
突触信息处理
信息传递功能与特点
1.1 生物神经元
神经元是大脑处理信息的基本单元
人脑大约由 1011个神经元组成，神经元互相连接成神经网络
神经元以细胞体为主体，由许多向周围延伸的不规则树枝状纤维构成的神经细胞，
其形状很像一棵枯树的枝干
主要由细胞体、树突、轴突和突触
(Synapse，又称神经键 )组成生物神经元示意图
1.2 突触的信息处理
生物神经元传递信息的过程为多输入,单输出
神经元各组成部分的功能来看，信息的处理与传递主要发生在突触附近
当神经元细胞体通过轴突传到突触前膜的脉冲幅度达到一定强度，即超过其阈值电位后，突触前膜将向突触间隙释放神经传递的化学物质
突触有两种类型，兴奋性突触和抑制性突触。
前者产生正突触后电位，后者产生负突触后电位
1.3 信息传递功能与特点
具有时空整合能力
不可逆性，脉冲只从突触前传到突触后，不逆向传递
神经纤维传导的速度，即脉冲沿神经纤维传递的速度，在 1— 150m／ s之间
信息传递时延和不应期，一般为 0.3～ lms
可塑性，突触传递信息的强度是可变的，即具有学习功能
存在学习、遗忘或疲劳（饱和）效应
– 对应突触传递作用增强、减弱和饱和二、人工神经网络结构
人工神经网络
人工神经元模型
常见响应函数
人工神经网络典型结构
2.1 人工神经网络
直观理解
– 神经网络是一个并行和分布式的信息处理网络结构
– 它一般由大量神经元组成
每个神经元只有一个输出，可以连接到很多其他的神经元
每个神经元输入有多个连接通道，每个连接通道对应于一个连接权系数
通用模型
求和操作
响应函数
2.2 人工神经元模型
2.2 人工神经元模型
响应函数的基本作用
– 控制输入对输出的激活作用
– 对输入、输出进行函数转换
– 将可能无限域的输入变换成指定的有限范围内的输出
(a)阈值单元
(b)线性单元
(c)(d)非线性单元,Sigmoid函数
2.3 常见神经元响应函数
2.3 常见神经元响应函数人工神经元的响应函数
神经元的模型确定之后，一个神经网络的特性及能力主要取决于网络的拓扑结构及学习方法
人工神经网络连接的几种基本形式
– 前向网络 (a)
– 从输出到输入有反馈的前向网络 (b)
用来存储某种模式序列
– 层内互连前向网络 (c)
限制层内同时动作的神经元；分组功能
– 相互结合型网络 (d)
2.4 人工神经网络典型结构神经 网络 的典型结构
权值确定
Hebb学习规则
误差校正（纠错）学习规则
相近（无教师）学习规则三、神经网络基本学习算法
人工神经网络连接权的确定通常有两种方法
– 根据具体要求，直接计算，如 Hopfield网络作优化计算
– 通过学习得到的。大多数人工神经网络都采用这种方法
学习方法是人工神经网络研究中的核心问题
3.1 权值确定
Donall Hebb根据生理学中条件反射机理，于
1949年提出的神经元连接强度变化的规则
– 如果两个神经元同时兴奋 (即同时被激活 )，则它们之间的突触连接加强
– a为学习速率,Vi,Vj为神经元 i和 j的输出
Hebb学习规则是人工神经网络学习的基本规则，
几乎所有神经网络的学习规则都可以看作 Hebb
学习规则的变形
3.2 Hebb学习规则
用已知样本作为教师对网络进行学习
学习规则可由二次误差函数的梯度法导出
误差校正学习规则实际上是一种梯度方法
– 不能保证得到全局最优解
– 要求大量训练样本，收敛速度慢
– 对样本地表示次序变化比较敏感
3.3 误差校正规则
()i j i i jv
3.3 无教师学习规则
这类学习不在于寻找一个特殊映射的表示，而是将事件空间分类为输入活动区域，并有选择地对这些区域响应，从而调整参数一反映观察事件的分部
输入可以市连续值，对噪声有较强地抗干扰能力
对较少输入样本，结果可能要依赖于输入序列
在 ART,Kohonen等自组织竞争型网络中采用小结一、生物神经元二、人工神经网络结构三、神经网络基本学习算法下次课程将介绍 MP模型和 BP模型
