第 03讲 神经元与网络结构
3,1 生物神经元及生物神经网络
3,1,1 生物神经元人脑大约由 1012个神经元组成,神经元互相连接成神经网络神经元是大脑处理信息的基本单元，以细胞体为主体，由许多向周围延伸的不规则树枝状纤维构成的神经细胞，其形状很像一棵枯树的枝干。它主要由细胞体、树突、
轴突和突触 (Synapse，又称神经键 )组成。
图 3－ 1 生物神经元示意图从神经元各组成部分的功能来看，信息的处理与传递主要发生在突触附近。当神经元细胞体通过轴突传到突触前膜的脉冲幅度达到一定强度，
即超过其阈值电位后，突触前膜将向突触间隙释放神经传递的化学物质 。
突触有两种：兴奋性突触和抑制性突触。前者产生正突触后电位，后者产生负突触后电位。
突触传递信息的功能和特点归纳为：
信息传递有时延，一般为 0.3～ lms。
信息的综合有时间累加和空间累加。
突触有兴奋性和抑制性两种类型。
具有脉冲／电位信号转换功能。
神经纤维传导的速度，即脉冲沿神经纤维传递的速度，
在 1— 150m／ s之间
存在不应期。
不可逆性，脉冲只从突触前传到突触后，不逆向传递。
可塑性，突触传递信息的强度是可变的，即具有学习功能。
存在遗忘或疲劳效应。
3,1,2 人脑神经网络系统图 3— 2脑神经系统的主要组成部分
3,1,3 人脑神经网络信息处理的特点
1．分布存储与冗余性
2．并行处理
3．信息处理与存储合一
4．可塑性与自组织性
5．鲁棒性
3,2 人工神经网络
神经网络直观理解神经网络是一个并行和分布式的信息处理网络结构，它一般由许多个神经元组成，每个神经元只有一个输出，它可以连接到很多其他的神经元，每个神经元输入有多个连接通道，每个连接通道对应于一个连接权系数。
3,2,1 人工神经元模型归纳一下生物神经元传递信息的过程,
生物神经元是一个多输入,单输出单元 。
常用的人工神经元模型可用图 3－ 3模拟。
图 3－ 3 人工神经元模型响应函数的基本作用：
1、控制输入对输出的激活作用；
2、对输入、输出进行函数转换；
3、将可能无限域的输入变换成指定的有限范围内的输出。
根据响应函数的不同，人工神经元有以下几种类型：
图 3— 4 人工神经元的响应函数
1、阈值单元
2,线性单元
3,非线性单元,Sigmoid函数上述模型能反映生物神经元的基本特性，但还有如下不同之点：
(1)生物神经元传递的信息是脉冲，而上述模型传递的信息是模拟电压。
(2)由于在上述模型中用一个等效的模拟电压来模拟生物神经元的脉冲密度，所以在模型中只有空间累加而没有时间累加 (可以认为时间累加已隐含在等效的模拟电压之中 )。
(3)上述模型未考虑时延、不应期和疲劳等。
3,2,2 人工神经网络的构成神经元的模型确定之后，一个神经网络的特性及能力主要取决于网络的拓扑结构及学习方法。
人工神经网络连接的几种基本形式：
1．前向网络网络中的神经元是分层排列的，每个神经元只与前一层的神经元相连接。
2．从输出到输入有反馈的前向网络
3．层内互连前向网络
4．互连网络图 3— 5 神经网络的典型结构
3,2,3 人工神经网络的学习学习方法是人工神经网络研究中的核心问题。
人工神经网络连接权的确定通常有两种方法：
一种是根据具体要求：直接计算出来，如
Hopfield网络作优化计算时就属于这种情况；
另一种是通过学习得到的，大多数人工神经网络都用这种方法。
1,Hebb学习规则是 Donall Hebb根据生理学中条件反射机理，
于 1949年提出的神经元连接强度变化的规则。
如果两个神经元同时兴奋 (即同时被激活 )，
则它们之间的突触连接加强。
Hebb学习规则是人工神经网络学习的基本规则，几乎所有神经网络的学习规则都可以看作 Hebb学习规则的变形。
2．误差校正规则用已知样本作为教师对网络进行学习 。
式 (3— 8)和式 (3— 9)的学习规则可由二次误差函数的梯度法导出，故误差校正学习规则实际上是一种梯度方法。
3．相近学习规则
)( ijiij v
3,2,4 人工神经网络与生物神经网络的比较
1．单元上的差别
2．信息上的差别
3．规模与智能上的差别
3,1 生物神经元及生物神经网络
3,1,1 生物神经元人脑大约由 1012个神经元组成,神经元互相连接成神经网络神经元是大脑处理信息的基本单元，以细胞体为主体，由许多向周围延伸的不规则树枝状纤维构成的神经细胞，其形状很像一棵枯树的枝干。它主要由细胞体、树突、
轴突和突触 (Synapse，又称神经键 )组成。
图 3－ 1 生物神经元示意图从神经元各组成部分的功能来看，信息的处理与传递主要发生在突触附近。当神经元细胞体通过轴突传到突触前膜的脉冲幅度达到一定强度，
即超过其阈值电位后，突触前膜将向突触间隙释放神经传递的化学物质 。
突触有两种：兴奋性突触和抑制性突触。前者产生正突触后电位，后者产生负突触后电位。
突触传递信息的功能和特点归纳为：
信息传递有时延，一般为 0.3～ lms。
信息的综合有时间累加和空间累加。
突触有兴奋性和抑制性两种类型。
具有脉冲／电位信号转换功能。
神经纤维传导的速度，即脉冲沿神经纤维传递的速度，
在 1— 150m／ s之间
存在不应期。
不可逆性，脉冲只从突触前传到突触后，不逆向传递。
可塑性，突触传递信息的强度是可变的，即具有学习功能。
存在遗忘或疲劳效应。
3,1,2 人脑神经网络系统图 3— 2脑神经系统的主要组成部分
3,1,3 人脑神经网络信息处理的特点
1．分布存储与冗余性
2．并行处理
3．信息处理与存储合一
4．可塑性与自组织性
5．鲁棒性
3,2 人工神经网络
神经网络直观理解神经网络是一个并行和分布式的信息处理网络结构，它一般由许多个神经元组成，每个神经元只有一个输出，它可以连接到很多其他的神经元，每个神经元输入有多个连接通道，每个连接通道对应于一个连接权系数。
3,2,1 人工神经元模型归纳一下生物神经元传递信息的过程,
生物神经元是一个多输入,单输出单元 。
常用的人工神经元模型可用图 3－ 3模拟。
图 3－ 3 人工神经元模型响应函数的基本作用：
1、控制输入对输出的激活作用；
2、对输入、输出进行函数转换；
3、将可能无限域的输入变换成指定的有限范围内的输出。
根据响应函数的不同，人工神经元有以下几种类型：
图 3— 4 人工神经元的响应函数
1、阈值单元
2,线性单元
3,非线性单元,Sigmoid函数上述模型能反映生物神经元的基本特性，但还有如下不同之点：
(1)生物神经元传递的信息是脉冲，而上述模型传递的信息是模拟电压。
(2)由于在上述模型中用一个等效的模拟电压来模拟生物神经元的脉冲密度，所以在模型中只有空间累加而没有时间累加 (可以认为时间累加已隐含在等效的模拟电压之中 )。
(3)上述模型未考虑时延、不应期和疲劳等。
3,2,2 人工神经网络的构成神经元的模型确定之后，一个神经网络的特性及能力主要取决于网络的拓扑结构及学习方法。
人工神经网络连接的几种基本形式：
1．前向网络网络中的神经元是分层排列的，每个神经元只与前一层的神经元相连接。
2．从输出到输入有反馈的前向网络
3．层内互连前向网络
4．互连网络图 3— 5 神经网络的典型结构
3,2,3 人工神经网络的学习学习方法是人工神经网络研究中的核心问题。
人工神经网络连接权的确定通常有两种方法：
一种是根据具体要求：直接计算出来，如
Hopfield网络作优化计算时就属于这种情况；
另一种是通过学习得到的，大多数人工神经网络都用这种方法。
1,Hebb学习规则是 Donall Hebb根据生理学中条件反射机理，
于 1949年提出的神经元连接强度变化的规则。
如果两个神经元同时兴奋 (即同时被激活 )，
则它们之间的突触连接加强。
Hebb学习规则是人工神经网络学习的基本规则，几乎所有神经网络的学习规则都可以看作 Hebb学习规则的变形。
2．误差校正规则用已知样本作为教师对网络进行学习 。
式 (3— 8)和式 (3— 9)的学习规则可由二次误差函数的梯度法导出，故误差校正学习规则实际上是一种梯度方法。
3．相近学习规则
)( ijiij v
3,2,4 人工神经网络与生物神经网络的比较
1．单元上的差别
2．信息上的差别
3．规模与智能上的差别
