第三讲 神经元与网络结构
3．1 生物神经元及生物神经网络
3．1．1 生物神经元人脑大约由1012个神经元组成，而其中的每个神经元又与约102～104个其他神经元相连接，如此构成一个庞大而复杂的神经元网络。
神经元是大脑处理信息的基本单元，它的结构如图3—1所示。它是以细胞体为主体，由许多向周围延伸的不规则树枝状纤维构成的神经细胞，其形状很像一棵枯树的枝干。它主要由细胞体、树突、轴突和突触(Synapse，又称神经键)组成。
图3－1 生物神经元示意图细胞体由细胞核、细胞质和细胞膜组成。细胞体是神经元新陈代谢的中心，还是接受与处理信息的部件。树突是细胞体向外延伸树枝状的纤维体，它是神经元的输入通道，接受来自其他神经元的信息。轴突是细胞体向处延伸的最长、最粗的一条树枝纤维体，即神经纤维，其长度从几个微米到1m左右。它是神经元的输出通道。轴突末端也有许多向外延伸的树枝状纤维体，称为神经末梢，它是神经元信息的输出端，用于输出神经元的动作脉冲。轴突有两种结构形式：髓鞘纤维和无髓鞘纤维，两者传递信息的速度不同，前者约为后者的10倍。一个神经元的神经末梢与另一神经元树突或细胞体的接触处称为突触，它是神经元之问传递信息的输入输出接口。每个神经元约有103～104个突触。
从神经元各组成部分的功能来看，信息的处理与传递主要发生在突触附近。当神经元细胞体通过轴突传到突触前膜的脉冲幅度达到一定强度，即超过其阈值电位后，突触前膜将向突触间隙释放神经传递的化学物质(乙酰胆碱)。由于这种化学物质的扩散，使位于突触后膜的离子通道(Ion Channel)开放，产生离子流，从而在突触后膜产生正的或负的电位，称为突触后电位。突触有两种：兴奋性突触和抑制性突触。前者产生正突触后电位，后者产生负突触后电位。一个神经元的各树突和细胞体往往通过突触和大量的其他神经元相连接。这些突触后电位的变化，将对该神经元产生综合作用，即当这些突触后电位的总和超过某一阎值时，该神经元便被激活，并产生脉冲，而且产生的脉冲数与该电位总和值的大小有关。脉冲沿轴突向其他神经元传送，从而实现了神经元之间信息的传递。突触传递信息有一定的延迟时间，对于温血动物一般为0．3—1ms。
当一个神经元突触前传来一串脉冲时，突触后电位的变化是其中诸单脉冲冲动效应的累加，即时间上的累加。而该神经元与其他很多神经元相连接的突触前同时传来的脉冲也能引起该突触后电位的变化，即空间上的累加。时间累加和空间累加都会对突触后电位产生影响。
最后，将突触传递信息的功能和特点归纳为：
信息传递有时延，一般为0.3～lms。
信息的综合有时间累加和空间累加。
突触有兴奋性和抑制性两种类型。
具有脉冲／电位信号转换功能。沿神经纤维传递的电脉冲为等幅(约60—100mV)、恒宽、编码的离散信号，而细胞膜电位的变化为连续的模拟量。由此可见突触有数／模转换功能。这种转换是通过神经介质以量子化学的方式实现的。
神经纤维传导的速度，即脉冲沿神经纤维传递的速度，在1—150m／s之间，它随纤维的粗细以及髓鞘的有无而不同。有髓鞘的粗纤维，其传递速度在100m／s以上；无髓朗的纫纤维，其传递速度可低至每秒数米。
存在不应期。在两个相邻脉冲之间，神经元的阈值电位突然升高，阻止下一个脉冲的通过，这段时间称为不应期，约3—5ms。在此期间，对激励不响应，不能传递脉冲。
不可逆性，脉冲只从突触前传到突触后，不逆向传递。
可塑性，突触传递信息的强度是可变的，即具有学习功能。可塑性是学习和记忆的基础。
存在遗忘或疲劳效应。
3．1．2 人脑神经网络系统生物神经网络是由很多神经元相互连接的，神经网络系统是一个极为庞大则错综复杂的系统。每个神经元虽然都十分简单，但是，如此大量神经元之间非常复杂的连接却可以演化出丰富多彩的行为方式。同时，如此大量神经元与外部感受器之间的多种多样的连接方式也蕴含了变化莫测的反应方式。总之，连接方式的多样化导致了行为方式的多样化。
脑神经系统的主要组成部分如图3—2所示。人脑具有阶层结构，其中最复杂的部分是处于大脑最外层的大脑皮层。在大脑皮层中密布着由大量神经元构成的神经网络，这就使它具有高度的分析相综合能力。它是人脑思维活动的物质基础，是脑神经系统的核心部分。
图3—2脑神经系统的主要组成部分人们通过长期的研究，进一步探明了大脑皮层是由许多不同的功能区构成的。例如，有的区专门负责运动控制，有的区专门负责听觉，有的区专门负责视觉等。在每个功能区中，又包含许多负责某一具体功能的神经元群。例如，在视觉神经区，存在着只对光线方向性产生反应的神经元。更进一步细分，某一层神经元仅对水平光线产生响应，而另一层神经元只对垂直光线产生反应。需要特别指出的是，大脑皮层的这种区域性结构，虽然是由人的遗传特性所决定的，是先天性的，但各区域所具有的功能大部分是人在后天通过对环境的适应和学习而得来的。神经元的这种特性称为自组织(Self—Organization)特性。所谓自组织，即神经元的学习过程，完全是一种自我学习的过程，不存在外部教师的示教。还应指出，神经元的这种自组织特性来自于神经网络结构的可塑性，即神经元之间相互连接的突触随着动作电位脉冲激励方式与强度的变化，其传递电位的作用可增加或减弱，神经元之间的突触连接是柔性的、可塑的。
还应指出，功能的分区定位并不是机械的一对一关系。许多功能，特别是高级思维功能，通常都可以分为若干子功能块，这些子功能块存在并行关系。对于一个特定功能的神经加工往往是在大脑皮层的许多部位分布式进行的。正因为如此，某一部位的损伤才不至于导致整个功能的丧失。
3．1．3 人脑神经网络信息处理的特点人的大脑是一个神秘而复杂的世界，人们通过长期的研究与探索，已能从神经细胞结构及神经网络组成的水平上初步探明大脑的组织特征，并通过生理实验证明了许多大脑的认知机理。但是，到目前为止，人们还不能完全解释大脑的思维、意识和精神活动。
大脑的思维过程实质上是一种信息处理过程。大脑神经网络系统是大脑信息处理的主体。这种信息处理过程是十分复杂而多样化的，很难给出精确的描述。不过，基于对大脑组织特征的认识及一些生理实验，可以归纳出如下一些大脑神经网络处理信息的特点：
1．分布存储与冗余性 信息在神经网络中的存储是分布于大量的神经元之中，即一个事物的信息不只是对应于一个神经元的状态进行记忆，而是分散到很多神经元中进行记忆。而且每个神经元实际上存储着多种不同信息的部分内容。在分布存储的内容中，有许多是完成同一功能的，即网络具有冗余性。网络的冗余性导致网络的存储具有容错性，即其中某些神经元受到损伤或死亡时，仍不致于丢失其记忆的信息。信息在神经网络中的记忆，主要反映在神经元之间的突触连接强度上。
2．并行处理 神经元响应的速度为毫秒级，比一般电子开关器件要慢几个数量级，而且每个神经元的处理功能也很有限。然而，大脑神经网络系统对于处理以求得问题满意解为目标的决策任务(如视觉、运动控制等)却显得非常迅速。相反、冯·诺依曼计算机却在这方面显得非常迟钝和笨拙。显然，前者速度快是由成亿个神经元协同工作并行处理的结果。
神经网络并行处理的含义不同于目前的并行处理机，它不是简单地“以空间的复杂性为代价来求得时间上的快速性”，而是反映了根本不同的操作机理。神经网络既是处理器，又是存储器。
3．信息处理与存储合一 人们从未发现大脑皮层中记忆和处理分别属于不同区域的情况，这是因为每个神经元都兼有信息处理和存储的功能。神经元之间突触连接强度的变化既反映了神经元对激励的响应，即信息处理过程，同时其响应结果又反映了信息的记忆。这种合二为一的优点是同时有大量相关知识参与信息过程，这对于提高网络信息处理的速度和智能是至关重要的。与此不同，目前一股计算机的存储和处理是分别属于两个独立的部件，存储器的作用只不过是一个知识库，这就是说，任一时刻都只有极少量的知识被取来参与处理，大部分知识却处于休闲无用状态。
4．可塑性与自组织性 在大脑中，神经元之间的突触连接，虽然其基本部分是先天就有的，即由遗传所决定的，但是大脑皮层的大部分突触连接是后天由环境的激励逐步形成的。它随着环境刺激性质的不同而不同。能形成和改变神经元之间突触连接的现象称为可塑性。大脑的记忆也是由环境的刺激在神经元之间形成新的突触连接，或者使原来就有的突触连接加强而形成的。还有，由于环境的刺激，形成和调整神经元之间的突触连接，并逐渐构成神经网络的现象，称为神经系统的自组织性。由此可见，可塑性是学习和记忆的基础。
5．鲁棒性 网络的高连接度意味着一定的误差和噪声不会使网络的性能恶化，即网络具有鲁棒性。大脑神经网络的鲁律性对于智能的演化可能是一个十分重要的因素。
3．2 生物神经网络的模型化——人工神经网络前一节对生物神经元及生物神经网络的结构和功能做了简要介绍。人类研究自身大脑的目的主要有两点：一是揭示大脑神经系统的生理特征和思维活动的机能造福于人类；二是通过对大脑神经网络系统的结构、功能及信息处理机理的探索，构造出与大脑智能相近的人工神经网络，并反过来用于工程或其他领域。然而要达到后一个目的，最有效的途径是首先建立生物神经元和神经网络的数学模型。本节主要讨论这个问题。应该指出，这里所指数学模型及其所构造的人工神经网络，并不是人脑神经系统的真实描写，而只是对其结构和功能进行了大大简化之后保留其主要特性的某种抽象与模拟。
神经网络直观理解神经网络是一个并行和分布式的信息处理网络结构，它一般由许多个神经元组成，每个神经元只有一个输出，它可以连接到很多其他的神经元，每个神经元输入有多个连接通道，每个连接通道对应于一个连接权系数。3．2．1 人工神经元模型为了建立人工神经元模型，这里归纳一下生物神经元传递信息的过程。生物神经元是一个多输入(即它的多个树突和细胞体与其他多个神经元铀突末梢突触连接)、单输出单元(每个神经元只有一个轴突作为输出通道)。沿神经元轴突传递的信号是脉冲，当脉冲到达轴突末梢突触前膜时，突触前膜即向突触间隙释放神经传递化学物质，其结果是在突触后(在接受其信息的神经元的树突或细胞体上)产生突触后电位。突触后电位的大小与轴突传递脉冲的密度有关(此处脉冲密度的含义是单位时间内传递脉冲的平均数)，对于兴奋性突触，密度愈大，则电位愈高，它就是突触后电位的时间总和效应。各输入通道均通过突触后电位对细胞体产生的影响，这就是突触后电位的空间总和效应。细胞体的激励电位是输，入端时间、空间总和效应综合作用的结果。当此电位超过细胞的阈值电位时，在轴突的初段发放脉冲，脉冲即沿轴突输出。从输入、输出关系看，对于兴奋性突触，当输入脉冲的密度增加时，输出脉冲的密度也增加。相反，对于抑制性突触，当输入脉冲的密度增加时，输出脉冲的密度就会减小。为了达到不同的研究目的，常用的人工神经元模型可用图3－3模拟。
图3－3 人工神经元模型图3—3中，xi(i＝1，2，…，n)为加于输入端(突触)上的输入信号；ωi为相应的突触连接权系数，它是模拟突触传递强度的—个比例系数,∑表示突触后信号的空间累加；θ表示神经元的阈值，σ表示神经元的响应函数。该模型的数学表达式为：
（3－1）
（3－2）
响应函数的基本作用：
1、控制输入对输出的激活作用；
2、对输入、输出进行函数转换；
3、将可能无限域的输入变换成指定的有限范围内的输出。 根据响应函数的不同，人工神经元有以下几种类型：
图3—4 人工神经元的响应函数阈值单元 其响应函数如图3—4a所示：
（3－3）
线性单元 其响应函数如图3—4b所示
(3－4)
非线性单元 常用响应函数为S型(Sigmoid)函数，如图3－4c、d所示。
（3－5）
（3－6）
上述模型能反映生物神经元的基本特性，但还有如下不同之点：
(1)生物神经元传递的信息是脉冲，而上述模型传递的信息是模拟电压。
(2)由于在上述模型中用一个等效的模拟电压来模拟生物神经元的脉冲密度，所以在模型中只有空间累加而没有时间累加(可以认为时间累加已隐含在等效的模拟电压之中)。
(3)上述模型未考虑时延、不应期和疲劳等。
现代电子技术可以建立更为精确的模型，但一般的神经网络研究无此必要。
3．2．2 人工神经网络的构成大脑神经网络系统之所以具有思维认识等高级功能，是由于它是由无数个神经元相互连接而构成的一个极为庞大而复杂的神经网络系统。人工神经网络也是一样，单个神经元的功能是很有限的，只有用许多神经元按一定规则连接构成的神经网络才具有强大的功能。
神经元的模型确定之后，一个神经网络的特性及能力主要取决于网络的拓扑结构及学习方法。下面介绍人工神经网络连接的几种基本形式：
1．前向网络 网络的结构如图3—5a所示。网络中的神经元是分层排列的，每个神经元只与前一层的神经元相连接。最上一层为输出层，隐含层的层数可以是一层或多层。前向网络在神经网络中应用很广泛，例如，感知器就属于这种类型。
2．从输出到输入有反馈的前向网络 网络的结构如图3—5b所示。网络的本身是前向型的，与前一种不同的是从输出到输入有反馈回路。例如，Fukushima网络就属于这种类型。
3．层内互连前向网络 网络的结构如图3—5c所示。通过层内神经元之间的相互连接，可以实现同一层神经元之间横向抑制或兴奋的机制，从而限制层内能同时动作的神经数，或者把层内神经元分为若干组，让每组作为一个整体来动作。一些自组织竞争型神经网络就属于这种类型。
图3—5 神经网络的典型结构
4．互连网络 网络的结构如图3—5d所示。互连网络有局部互连和全互连两种。全互连网络中的每个神经元都与其他神经元相连。局部互连是指互连只是局部的，有些神经元之间没有连接关系。Hopfield网络和Boltzmann机属于互连网络的类型。
3．2．3 人工神经网络的学习一个神经网络的拓扑结构确定之后，为了使它具有某种智能特性，还必须有相应的学习方法与之配合。可以这样说，学习方法是人工神经网络研究中的核心问题。
对于大脑神经而言，不同的功能区域均有各自的学习规则。这些完整和巧妙的学习规则是大脑在进化过程中通过学习得到的。对于人工神经网络而言，学习方法归根结底就是网络连接权的调整方法。人工神经网络连接权的确定通常有两种方法：一种是根据具体要求：直接计算出来，如Hopfield网络作优化计算时就属于这种情况；另一种是通过学习得到的，大多数人工神经网络都用这种方法。
随着网络结构和功能的不同，学习方法是多种多样的，这些内容将在后续作详细介绍。这里仅介绍人工神经网络中一些基本的、通用的学习规则，这些规则主要有：
1．Hebb学习规则 它是Donall Hebb根据生理学中条件反射机理，于1949年提出的神经元连接强度变化的规则。其内容为，
如果两个神经元同时兴奋(即同时被激活)，则它们之间的突触连接加强。如果用、表示神经元i和j的激活值(输出)，表示两个神经元之间的连接权，则Hebb学习规则可以表示为：
(3—7)
这里表示学习速率。Hebb学习规则是人工神经网络学习的基本规则，几乎所有神经网络的学习规则都可以看作Hebb学习规则的变形。
2．学习规则 这种方法是用已知样本作为教师对网络进行学习，又称误差校正规则。设(Xk，Yk)(k＝1，2，…，p)为输入、输出样本对，Yk＝[yl，y2，…，ym]T，Xk＝[xl，x2，…，xn]T。把Xk作为网络的输入，在连接权的作用下，可得网络的实际输出。设神经元i到神经元j的连接权为，则权的调整量为：
(3—8)
(3—9)
式中，为学习速率；为误差(即期望输出与实际输出之差)；为第i个神经元的输出。
函数F(·)根据具体情况而定。当它为线性函数F(x)＝x时，＝。式(3—8)和式(3—9)的学习规则可由二次误差函数的梯度法导出，故学习规则实际上是一种梯度方法。
学习规则已在许多神经网络中得到应用，例如，前馈网络的BP算法即是。
3．相近学习规则 设为从神经元i到神经元j的连接权，为神经元i的输出，则连接权的调整为：
(3—10)
在这种学习中，是使趋近于的值。例如，在ART和SOFM等自组织竞争型网络中就采用了这种学习规则。
3．2．4 人工神经网络与生物神经网络的比较人工神经网络是人脑神经网络的某种简化、抽象和模拟。它们之间在一些重要特性上存在着一致性，否则就不能称之为人工神经网络。这些一致性主要是本章3,1,3节中所述的人脑神经网络信息处理的那些特点，即分布存储、并行处理、信息处理与存储合一、可塑性与自组织性、容错性和鲁棒性等。但人工神经网络不是大脑神经网络的真实写照，它们之间还存在着很大的差别，下面对此进行归纳，以便更深刻地了解人工神经网络构成的原理。
1．单元上的差别 对于生物神经元而言，影响突触传递信息强度的因素很多、很复杂。如突触前微细胞的大小与多少、神经传递化学物质含量的多少、神经传递化学物质释放的速度、突触间隙的变化、树突的位置与大小等诸多因素都会对突触电位产生影响，从而影响神经元的输出脉冲响应。而人工神经元则忽略了这些影响，输入、输出关系十分简单。
2．信息上的差别 生物神经元传递的信息是脉冲，而人工神经元传递的信息是模拟电压。
3．规模与智能上的差别 目前，人工神经网络的规模还远小于生物神经网络，网络中神经元的数量一般在104个以下，显然，其智能也无法与生物神经网络相比。网络的规模(含拓扑结构)是影响网络智能的一个因素，但是，还有另一个重要因素，那就是网络信息处理的机理和机制(学习方法)。目前，人们对大脑智能信息处理(例如思维过程)的一些机理和机制性问题还不太了解，相应地这些问题也就不可能在人工神经网络中得到实质性的反映。随着这些问题的解决，人工神经网络的智能必然会得到相应提高。
3．1 生物神经元及生物神经网络
3．1．1 生物神经元人脑大约由1012个神经元组成，而其中的每个神经元又与约102～104个其他神经元相连接，如此构成一个庞大而复杂的神经元网络。
神经元是大脑处理信息的基本单元，它的结构如图3—1所示。它是以细胞体为主体，由许多向周围延伸的不规则树枝状纤维构成的神经细胞，其形状很像一棵枯树的枝干。它主要由细胞体、树突、轴突和突触(Synapse，又称神经键)组成。
图3－1 生物神经元示意图细胞体由细胞核、细胞质和细胞膜组成。细胞体是神经元新陈代谢的中心，还是接受与处理信息的部件。树突是细胞体向外延伸树枝状的纤维体，它是神经元的输入通道，接受来自其他神经元的信息。轴突是细胞体向处延伸的最长、最粗的一条树枝纤维体，即神经纤维，其长度从几个微米到1m左右。它是神经元的输出通道。轴突末端也有许多向外延伸的树枝状纤维体，称为神经末梢，它是神经元信息的输出端，用于输出神经元的动作脉冲。轴突有两种结构形式：髓鞘纤维和无髓鞘纤维，两者传递信息的速度不同，前者约为后者的10倍。一个神经元的神经末梢与另一神经元树突或细胞体的接触处称为突触，它是神经元之问传递信息的输入输出接口。每个神经元约有103～104个突触。
从神经元各组成部分的功能来看，信息的处理与传递主要发生在突触附近。当神经元细胞体通过轴突传到突触前膜的脉冲幅度达到一定强度，即超过其阈值电位后，突触前膜将向突触间隙释放神经传递的化学物质(乙酰胆碱)。由于这种化学物质的扩散，使位于突触后膜的离子通道(Ion Channel)开放，产生离子流，从而在突触后膜产生正的或负的电位，称为突触后电位。突触有两种：兴奋性突触和抑制性突触。前者产生正突触后电位，后者产生负突触后电位。一个神经元的各树突和细胞体往往通过突触和大量的其他神经元相连接。这些突触后电位的变化，将对该神经元产生综合作用，即当这些突触后电位的总和超过某一阎值时，该神经元便被激活，并产生脉冲，而且产生的脉冲数与该电位总和值的大小有关。脉冲沿轴突向其他神经元传送，从而实现了神经元之间信息的传递。突触传递信息有一定的延迟时间，对于温血动物一般为0．3—1ms。
当一个神经元突触前传来一串脉冲时，突触后电位的变化是其中诸单脉冲冲动效应的累加，即时间上的累加。而该神经元与其他很多神经元相连接的突触前同时传来的脉冲也能引起该突触后电位的变化，即空间上的累加。时间累加和空间累加都会对突触后电位产生影响。
最后，将突触传递信息的功能和特点归纳为：
信息传递有时延，一般为0.3～lms。
信息的综合有时间累加和空间累加。
突触有兴奋性和抑制性两种类型。
具有脉冲／电位信号转换功能。沿神经纤维传递的电脉冲为等幅(约60—100mV)、恒宽、编码的离散信号，而细胞膜电位的变化为连续的模拟量。由此可见突触有数／模转换功能。这种转换是通过神经介质以量子化学的方式实现的。
神经纤维传导的速度，即脉冲沿神经纤维传递的速度，在1—150m／s之间，它随纤维的粗细以及髓鞘的有无而不同。有髓鞘的粗纤维，其传递速度在100m／s以上；无髓朗的纫纤维，其传递速度可低至每秒数米。
存在不应期。在两个相邻脉冲之间，神经元的阈值电位突然升高，阻止下一个脉冲的通过，这段时间称为不应期，约3—5ms。在此期间，对激励不响应，不能传递脉冲。
不可逆性，脉冲只从突触前传到突触后，不逆向传递。
可塑性，突触传递信息的强度是可变的，即具有学习功能。可塑性是学习和记忆的基础。
存在遗忘或疲劳效应。
3．1．2 人脑神经网络系统生物神经网络是由很多神经元相互连接的，神经网络系统是一个极为庞大则错综复杂的系统。每个神经元虽然都十分简单，但是，如此大量神经元之间非常复杂的连接却可以演化出丰富多彩的行为方式。同时，如此大量神经元与外部感受器之间的多种多样的连接方式也蕴含了变化莫测的反应方式。总之，连接方式的多样化导致了行为方式的多样化。
脑神经系统的主要组成部分如图3—2所示。人脑具有阶层结构，其中最复杂的部分是处于大脑最外层的大脑皮层。在大脑皮层中密布着由大量神经元构成的神经网络，这就使它具有高度的分析相综合能力。它是人脑思维活动的物质基础，是脑神经系统的核心部分。
图3—2脑神经系统的主要组成部分人们通过长期的研究，进一步探明了大脑皮层是由许多不同的功能区构成的。例如，有的区专门负责运动控制，有的区专门负责听觉，有的区专门负责视觉等。在每个功能区中，又包含许多负责某一具体功能的神经元群。例如，在视觉神经区，存在着只对光线方向性产生反应的神经元。更进一步细分，某一层神经元仅对水平光线产生响应，而另一层神经元只对垂直光线产生反应。需要特别指出的是，大脑皮层的这种区域性结构，虽然是由人的遗传特性所决定的，是先天性的，但各区域所具有的功能大部分是人在后天通过对环境的适应和学习而得来的。神经元的这种特性称为自组织(Self—Organization)特性。所谓自组织，即神经元的学习过程，完全是一种自我学习的过程，不存在外部教师的示教。还应指出，神经元的这种自组织特性来自于神经网络结构的可塑性，即神经元之间相互连接的突触随着动作电位脉冲激励方式与强度的变化，其传递电位的作用可增加或减弱，神经元之间的突触连接是柔性的、可塑的。
还应指出，功能的分区定位并不是机械的一对一关系。许多功能，特别是高级思维功能，通常都可以分为若干子功能块，这些子功能块存在并行关系。对于一个特定功能的神经加工往往是在大脑皮层的许多部位分布式进行的。正因为如此，某一部位的损伤才不至于导致整个功能的丧失。
3．1．3 人脑神经网络信息处理的特点人的大脑是一个神秘而复杂的世界，人们通过长期的研究与探索，已能从神经细胞结构及神经网络组成的水平上初步探明大脑的组织特征，并通过生理实验证明了许多大脑的认知机理。但是，到目前为止，人们还不能完全解释大脑的思维、意识和精神活动。
大脑的思维过程实质上是一种信息处理过程。大脑神经网络系统是大脑信息处理的主体。这种信息处理过程是十分复杂而多样化的，很难给出精确的描述。不过，基于对大脑组织特征的认识及一些生理实验，可以归纳出如下一些大脑神经网络处理信息的特点：
1．分布存储与冗余性 信息在神经网络中的存储是分布于大量的神经元之中，即一个事物的信息不只是对应于一个神经元的状态进行记忆，而是分散到很多神经元中进行记忆。而且每个神经元实际上存储着多种不同信息的部分内容。在分布存储的内容中，有许多是完成同一功能的，即网络具有冗余性。网络的冗余性导致网络的存储具有容错性，即其中某些神经元受到损伤或死亡时，仍不致于丢失其记忆的信息。信息在神经网络中的记忆，主要反映在神经元之间的突触连接强度上。
2．并行处理 神经元响应的速度为毫秒级，比一般电子开关器件要慢几个数量级，而且每个神经元的处理功能也很有限。然而，大脑神经网络系统对于处理以求得问题满意解为目标的决策任务(如视觉、运动控制等)却显得非常迅速。相反、冯·诺依曼计算机却在这方面显得非常迟钝和笨拙。显然，前者速度快是由成亿个神经元协同工作并行处理的结果。
神经网络并行处理的含义不同于目前的并行处理机，它不是简单地“以空间的复杂性为代价来求得时间上的快速性”，而是反映了根本不同的操作机理。神经网络既是处理器，又是存储器。
3．信息处理与存储合一 人们从未发现大脑皮层中记忆和处理分别属于不同区域的情况，这是因为每个神经元都兼有信息处理和存储的功能。神经元之间突触连接强度的变化既反映了神经元对激励的响应，即信息处理过程，同时其响应结果又反映了信息的记忆。这种合二为一的优点是同时有大量相关知识参与信息过程，这对于提高网络信息处理的速度和智能是至关重要的。与此不同，目前一股计算机的存储和处理是分别属于两个独立的部件，存储器的作用只不过是一个知识库，这就是说，任一时刻都只有极少量的知识被取来参与处理，大部分知识却处于休闲无用状态。
4．可塑性与自组织性 在大脑中，神经元之间的突触连接，虽然其基本部分是先天就有的，即由遗传所决定的，但是大脑皮层的大部分突触连接是后天由环境的激励逐步形成的。它随着环境刺激性质的不同而不同。能形成和改变神经元之间突触连接的现象称为可塑性。大脑的记忆也是由环境的刺激在神经元之间形成新的突触连接，或者使原来就有的突触连接加强而形成的。还有，由于环境的刺激，形成和调整神经元之间的突触连接，并逐渐构成神经网络的现象，称为神经系统的自组织性。由此可见，可塑性是学习和记忆的基础。
5．鲁棒性 网络的高连接度意味着一定的误差和噪声不会使网络的性能恶化，即网络具有鲁棒性。大脑神经网络的鲁律性对于智能的演化可能是一个十分重要的因素。
3．2 生物神经网络的模型化——人工神经网络前一节对生物神经元及生物神经网络的结构和功能做了简要介绍。人类研究自身大脑的目的主要有两点：一是揭示大脑神经系统的生理特征和思维活动的机能造福于人类；二是通过对大脑神经网络系统的结构、功能及信息处理机理的探索，构造出与大脑智能相近的人工神经网络，并反过来用于工程或其他领域。然而要达到后一个目的，最有效的途径是首先建立生物神经元和神经网络的数学模型。本节主要讨论这个问题。应该指出，这里所指数学模型及其所构造的人工神经网络，并不是人脑神经系统的真实描写，而只是对其结构和功能进行了大大简化之后保留其主要特性的某种抽象与模拟。
神经网络直观理解神经网络是一个并行和分布式的信息处理网络结构，它一般由许多个神经元组成，每个神经元只有一个输出，它可以连接到很多其他的神经元，每个神经元输入有多个连接通道，每个连接通道对应于一个连接权系数。3．2．1 人工神经元模型为了建立人工神经元模型，这里归纳一下生物神经元传递信息的过程。生物神经元是一个多输入(即它的多个树突和细胞体与其他多个神经元铀突末梢突触连接)、单输出单元(每个神经元只有一个轴突作为输出通道)。沿神经元轴突传递的信号是脉冲，当脉冲到达轴突末梢突触前膜时，突触前膜即向突触间隙释放神经传递化学物质，其结果是在突触后(在接受其信息的神经元的树突或细胞体上)产生突触后电位。突触后电位的大小与轴突传递脉冲的密度有关(此处脉冲密度的含义是单位时间内传递脉冲的平均数)，对于兴奋性突触，密度愈大，则电位愈高，它就是突触后电位的时间总和效应。各输入通道均通过突触后电位对细胞体产生的影响，这就是突触后电位的空间总和效应。细胞体的激励电位是输，入端时间、空间总和效应综合作用的结果。当此电位超过细胞的阈值电位时，在轴突的初段发放脉冲，脉冲即沿轴突输出。从输入、输出关系看，对于兴奋性突触，当输入脉冲的密度增加时，输出脉冲的密度也增加。相反，对于抑制性突触，当输入脉冲的密度增加时，输出脉冲的密度就会减小。为了达到不同的研究目的，常用的人工神经元模型可用图3－3模拟。
图3－3 人工神经元模型图3—3中，xi(i＝1，2，…，n)为加于输入端(突触)上的输入信号；ωi为相应的突触连接权系数，它是模拟突触传递强度的—个比例系数,∑表示突触后信号的空间累加；θ表示神经元的阈值，σ表示神经元的响应函数。该模型的数学表达式为：
（3－1）
（3－2）
响应函数的基本作用：
1、控制输入对输出的激活作用；
2、对输入、输出进行函数转换；
3、将可能无限域的输入变换成指定的有限范围内的输出。 根据响应函数的不同，人工神经元有以下几种类型：
图3—4 人工神经元的响应函数阈值单元 其响应函数如图3—4a所示：
（3－3）
线性单元 其响应函数如图3—4b所示
(3－4)
非线性单元 常用响应函数为S型(Sigmoid)函数，如图3－4c、d所示。
（3－5）
（3－6）
上述模型能反映生物神经元的基本特性，但还有如下不同之点：
(1)生物神经元传递的信息是脉冲，而上述模型传递的信息是模拟电压。
(2)由于在上述模型中用一个等效的模拟电压来模拟生物神经元的脉冲密度，所以在模型中只有空间累加而没有时间累加(可以认为时间累加已隐含在等效的模拟电压之中)。
(3)上述模型未考虑时延、不应期和疲劳等。
现代电子技术可以建立更为精确的模型，但一般的神经网络研究无此必要。
3．2．2 人工神经网络的构成大脑神经网络系统之所以具有思维认识等高级功能，是由于它是由无数个神经元相互连接而构成的一个极为庞大而复杂的神经网络系统。人工神经网络也是一样，单个神经元的功能是很有限的，只有用许多神经元按一定规则连接构成的神经网络才具有强大的功能。
神经元的模型确定之后，一个神经网络的特性及能力主要取决于网络的拓扑结构及学习方法。下面介绍人工神经网络连接的几种基本形式：
1．前向网络 网络的结构如图3—5a所示。网络中的神经元是分层排列的，每个神经元只与前一层的神经元相连接。最上一层为输出层，隐含层的层数可以是一层或多层。前向网络在神经网络中应用很广泛，例如，感知器就属于这种类型。
2．从输出到输入有反馈的前向网络 网络的结构如图3—5b所示。网络的本身是前向型的，与前一种不同的是从输出到输入有反馈回路。例如，Fukushima网络就属于这种类型。
3．层内互连前向网络 网络的结构如图3—5c所示。通过层内神经元之间的相互连接，可以实现同一层神经元之间横向抑制或兴奋的机制，从而限制层内能同时动作的神经数，或者把层内神经元分为若干组，让每组作为一个整体来动作。一些自组织竞争型神经网络就属于这种类型。
图3—5 神经网络的典型结构
4．互连网络 网络的结构如图3—5d所示。互连网络有局部互连和全互连两种。全互连网络中的每个神经元都与其他神经元相连。局部互连是指互连只是局部的，有些神经元之间没有连接关系。Hopfield网络和Boltzmann机属于互连网络的类型。
3．2．3 人工神经网络的学习一个神经网络的拓扑结构确定之后，为了使它具有某种智能特性，还必须有相应的学习方法与之配合。可以这样说，学习方法是人工神经网络研究中的核心问题。
对于大脑神经而言，不同的功能区域均有各自的学习规则。这些完整和巧妙的学习规则是大脑在进化过程中通过学习得到的。对于人工神经网络而言，学习方法归根结底就是网络连接权的调整方法。人工神经网络连接权的确定通常有两种方法：一种是根据具体要求：直接计算出来，如Hopfield网络作优化计算时就属于这种情况；另一种是通过学习得到的，大多数人工神经网络都用这种方法。
随着网络结构和功能的不同，学习方法是多种多样的，这些内容将在后续作详细介绍。这里仅介绍人工神经网络中一些基本的、通用的学习规则，这些规则主要有：
1．Hebb学习规则 它是Donall Hebb根据生理学中条件反射机理，于1949年提出的神经元连接强度变化的规则。其内容为，
如果两个神经元同时兴奋(即同时被激活)，则它们之间的突触连接加强。如果用、表示神经元i和j的激活值(输出)，表示两个神经元之间的连接权，则Hebb学习规则可以表示为：
(3—7)
这里表示学习速率。Hebb学习规则是人工神经网络学习的基本规则，几乎所有神经网络的学习规则都可以看作Hebb学习规则的变形。
2．学习规则 这种方法是用已知样本作为教师对网络进行学习，又称误差校正规则。设(Xk，Yk)(k＝1，2，…，p)为输入、输出样本对，Yk＝[yl，y2，…，ym]T，Xk＝[xl，x2，…，xn]T。把Xk作为网络的输入，在连接权的作用下，可得网络的实际输出。设神经元i到神经元j的连接权为，则权的调整量为：
(3—8)
(3—9)
式中，为学习速率；为误差(即期望输出与实际输出之差)；为第i个神经元的输出。
函数F(·)根据具体情况而定。当它为线性函数F(x)＝x时，＝。式(3—8)和式(3—9)的学习规则可由二次误差函数的梯度法导出，故学习规则实际上是一种梯度方法。
学习规则已在许多神经网络中得到应用，例如，前馈网络的BP算法即是。
3．相近学习规则 设为从神经元i到神经元j的连接权，为神经元i的输出，则连接权的调整为：
(3—10)
在这种学习中，是使趋近于的值。例如，在ART和SOFM等自组织竞争型网络中就采用了这种学习规则。
3．2．4 人工神经网络与生物神经网络的比较人工神经网络是人脑神经网络的某种简化、抽象和模拟。它们之间在一些重要特性上存在着一致性，否则就不能称之为人工神经网络。这些一致性主要是本章3,1,3节中所述的人脑神经网络信息处理的那些特点，即分布存储、并行处理、信息处理与存储合一、可塑性与自组织性、容错性和鲁棒性等。但人工神经网络不是大脑神经网络的真实写照，它们之间还存在着很大的差别，下面对此进行归纳，以便更深刻地了解人工神经网络构成的原理。
1．单元上的差别 对于生物神经元而言，影响突触传递信息强度的因素很多、很复杂。如突触前微细胞的大小与多少、神经传递化学物质含量的多少、神经传递化学物质释放的速度、突触间隙的变化、树突的位置与大小等诸多因素都会对突触电位产生影响，从而影响神经元的输出脉冲响应。而人工神经元则忽略了这些影响，输入、输出关系十分简单。
2．信息上的差别 生物神经元传递的信息是脉冲，而人工神经元传递的信息是模拟电压。
3．规模与智能上的差别 目前，人工神经网络的规模还远小于生物神经网络，网络中神经元的数量一般在104个以下，显然，其智能也无法与生物神经网络相比。网络的规模(含拓扑结构)是影响网络智能的一个因素，但是，还有另一个重要因素，那就是网络信息处理的机理和机制(学习方法)。目前，人们对大脑智能信息处理(例如思维过程)的一些机理和机制性问题还不太了解，相应地这些问题也就不可能在人工神经网络中得到实质性的反映。随着这些问题的解决，人工神经网络的智能必然会得到相应提高。
