第 7章 相关机器学习
7.1 机器学习概述
机器学习可以根据许多不同的方式来分类，这里，
我们选择了三种方式：
（ l）基于所使用的基本学习策咯分类。根据在所给定
的信息上执行所花费的推理步数量排出学习处理过程
顺序；
（ 2）基于知识表示或学习者所获取的技能分类；
（ 3）基于获取知识的系统的应用领域分类。
第 7章 相关机器学习
由上述方法定义出的各种信息都对应一种特殊的学习
策咯,采用一定的知识识表示,应用到某一领域。
由于现有的学习系统采用多种表示和处理,并且许多
系统不止应用于一个领域,因此这样的系统应该有研
究价值。
第 7章 相关机器学习
上述每种分类方式所探明的价值，会使将来的研究工
作可能更好地揭示出新的价值和分类方式。实际上,
我们对所有可能的机器学习技术组成的各种模块仅作
了很少的探查,只是对其部分的了解,现存的机器学
习模块由于只代表了少量可能的组合。
第 7章 相关机器学习
由于我们以学习者对所提供的信息做的推理量来划
分学习策略,所以首先考虑两种边界情况：即学习
者不作任何推理与学习者进行大量的推理两种情况。
如果一个计算机系统,其知识的增加是直接靠编程
实现的,那么它增加知识,不做任何推理，而认知
工作完全靠程序员。这是一种边界情况；相反地,如
果一个系统独立地发现新的理论或发明新的概念，
那么它必须做大量的推理,
第 7章 相关机器学习
它会从实验和观察中抽出有组织的知识来。介于这
两种情况之间的是,学生通过模拟书本上所给出的
例子来决定怎详解一个数学问题 —— 这样一种过程
需要推理量，但是比起没有老师或书本的指导发现
一个新的数学分支来说,所耍的推理少得多。
第 7章 相关机器学习
随着学习者所能做的推理量的增多,老师或外部环境
的负担就会减少，指导某人完成一项复杂工作,对他
讲解完成这项工作的每一个步骤,比起给他做如何完
成类似的一项工作的示范来指导他困难得多。编计算
机程序来完成一项复杂的工作又比指示一个人完成这
项工作困难得多。因为编程需要对所有必要的细节作
精确的说明，可以利用己有的知识和常识弥补大部分
的细节。
第 7章 相关机器学习
7, 1, 1 机械式学习和直接输入新知识
这种类型是学习者不需要进行任何推理或知识的转换，不是
真正意义上的机器学习。这种知识获取方法又分成：
（ 1）由外界实体编好、构造好或修改好程序来进行学习,
学习者不做任何工作（例如通常意义下的计算机编程 )。
（ 2）通过接收的事实和数据来学习,对输入信息不作任何
推理 (例如，早期的数据库工作 ),机械式学习这个术语主要
指此含义。
第 7章 相关机器学习
7, 1, 2 根据示教学习
这种类型或者称为被告知学习。即，从老师或其它有结构的
事物中学习。例如从书本获取知识，要求学习者将输入语言
表示的知识转换成它本身的内部表示形式,并把新的信息和
它原有的知识有机地结合为一体。
因此,学习者耍做一些推理,但大量的工作仍然由老师做。
老师必须采取能够增加学生现有知识的方法来提供和组织知
识，根据指示来学习类似于我们最正规的教育方法。因此,
机器学习的任务就是要建立这种系统，它能够接受指示和建
议。
第 7章 相关机器学习
7, 1, 3 通过类推来学习
学习者找出现有知识中与所要产生的新概念或技能十分类似的部分，将
它们转换或扩大成适合于新情况的形式，从而取得新的事实或技能。
例如，某人会开小轿车，但从未开过小型卡车,他就可以将原有的技
术 (也许只是一部分 )用来开小卡车。类似地，一个基于类推的学习系统
能将一个现有的计算机程序转换成另一个程序，使它具有最初并未设计,
但与原程序类似的功能。
类推学习与机械式学习或者与根据指示来学习比起来，学习者要做更多
的推理，要从原有的存储中检索有关参数相类似的事实或者技能,然
后将检索出的知识进行转换,应用到新的情况中，再存储以备后用。
第 7章 相关机器学习
7, 1, 4 从例子中学习
这种形式的学习,.给学习者提供某一概念的一组正例和反例
(归纳学习的特例 )。学习者归纳出一个总的概念描述使它适
合于所有的正例且排除所有的反例。从例子中学习在人工智
能中研究得很多。用这种方法,由于老师没有提供总的概念，
学习者的推理量比根据指示学习要多得多。因此,也由于没
有与新概念类似的旧概念作“种子”，推理量也多于根据类
推学习。
第 7章 相关机器学习
从例子中学习可根据例子的来源不同而分成几个子类：
（ 1）来源于教师
这就是说，教师应该知道这个概念,并且提供出一组有利
于形成这种概念的例子序列。当然，如果教师还知道 (或者
更典型地是推测出 )学习者的知识状态,那么教师所选出的
例子最有利于收敛到所希望的概念。
第 7章 相关机器学习
（ 2）来源于学习者本身
学习者明确知道自己的知识状态,但完全不清楚所要获取的概
念。因此，学习者可以根据信息来产生例子（并让外部实体如
环境或者教师区分出正例和反例）。产生例子的信息是学习者
认为对于区分各种有争议的概念描述所必须的。例如,学习者
要想获得“铁磁性物质” 概念，它或许会产生“所有的金属”
作为可能的后选者，用磁体对铜和其它盒属做实验，就会发现
铜是一个反例。因此要产生“铁磁性物质”这个概念就不应该
包含所有的金属。
第 7章 相关机器学习
（ 3）来源于学习者以外的外部环境
在这种情况下，由于学习者必须依靠相对说来无
法控制的观察事件,这时，也可能例子的产生过
程是随机的。例如，一个天文学家要想对超新星
的出现给出预兆，他就必须主要依靠非结构化的
数据（尽管他知道超新星的概念，但是他不能先
验地推知一颗超新星会在何时何地出现，也不能
由他引出一颗超新星）。
第 7章 相关机器学习
从例子中学习也能根据学习者所获取的可用例子的类
型分类：
（ 1）只用正例
尽管正例提供了所要获取的概念的实例,然而,这些
例子不能防止推导出概念外延扩大化。在这种学习中，
防止概念扩大化或许可以通过只考虑那些对定义概念
必不可少的法则构成的最小集 。或依靠预先了解的领
域知识来对所推导的慨念加以限制。
第 7章 相关机器学习
（ 2）正、反例都用
在这种情况下、正例促成产生概念,反例则用来防止概念扩大化（所
归纳出的概念决不应该如此广泛而包含任何反例 )。这是从例子中学习
的典型方式。
从例子中学习,可以是一次性的试验，也可以是逐渐积累的。在前一种
情况下，所有的例子一次给出，在后一种情况下，系统借助有用的数据
一次或者多次形成概念（或者概念的范畴）的假定，在考虑增加例子之
后，相继改进上述假定。积累的方法更接近于人类的学习方法,它允
许学习者使用已学会的部分概念 (用来应用或引导例子产生过程 ),并可
以使教师抛开细节，先教授新概念的基本方面。但另一方面，一次性的
方式一般不容易在形成新概念的核心部分时,由于选取了不恰当的初
始例子,而使学习者走上歧路。
第 7章 相关机器学习
7, 1, 5 通过观察和发现学习
这是归纳型学习中一种很常见的形式。它包括发现系统、理论、
形成任务、建立分类标准、形成分类法次结构以及在无外界教
师的帮助下完成其它一些类似的工作。这种非受控的学习形式
比起前面讨沦过的所有方法,需要学习者进行更多的推理,它
没有给学习者提供特定概念的实例，也没有提供如何将内部产
生的例子归类到某一给定概念的正例或反例的途径。而且，每
次的观察并不限定在单一概念上,可以同时涉及几个将要获取
的概念,因此，引入了集中注意力的问题。可以根据与外部环
境相互作用的程度，将根据观察学习进行分类。
第 7章 相关机器学习
这方面两种极端情况是：
（ 1）被动观察
学习者把从环境中得到的多方的观察现象进行分类；
（ 2）主动实验
学习者主动变动一下环境,观察其变动结果，可能遵循的目标的普遍
准则，随机地、动态地收集经验,也可能根据理论限制强有力地导出
经验。当一个系统获取知识和假设出一定的理论后,或许会要求证实
或否定其理论。这种需要的提出,要求用不同的观察和实验策略来考
查其环境。
这种方式的学习涉及例子的生成，并用来检验所假设的或部分获得的
概念。
第 7章 相关机器学习
7, 2 从例子中学习
7, 2, 1 从例子中学习的若干问题
归纳学习的过程就是寻求合情的一般化描述 (归纳断言 )的过程。这种一
般化描述能够解释给定的输入数据，并且可用来预测新的数据。为了便
于编写计算机程序，把这种描述形式化，必须使用一种恰当的描述语言。
对于任何一组输入数据和一个有效的描述语言，应能够把大量的归纳断
言形式化。这些归纳断言组成一个由相对一般关系确定的半序关系的描
述集。该集合中最小的元素在给定的语言中是输入特殊的描述,最大
元素是输入数据的最一般描述。这个集合的元素可以这样得到，先从最
特定的描述开始，然后,反复运用妇纳规则来产生更一般的描述。
第 7章 相关机器学习
把归纳看作对一般化了的描述空间的搜索,必须注意下列与学习有关的
几个问题：
（ 1）表示
什么样的描述语言能用来表示输入例子和将归纳断言形式化，一个方法
能够学习的归纳断言，其形式可能是什么? 在这些形式中要用到些什么?
（ 2）描述类型探索
应该了解归纳断言形式化的目的是什么? 特别对于那个产生数据的主
要过程,归纳法作了什么样的假设?
（ 3）一般化描述规则
为了产生归纳断言,对输入数据和中间描述,需要进行哪些种类的转换？
这是构造这方面规则所要认真考虑的。
第 7章 相关机器学习
（ 4）构造性归纳
归纳过程是否改变现有的描述空间? 也就是说,它是否产生
不属于输入事件的新的描述? 这也是应该注意的问题。
（ 5）控制策略
应该设计好使用什么样的策略来搜索描述空间 ; 自底向上 (数
据驱动 ),自顶向下 (模型驱功），还是混合式的?
（ 6）一般的还是面向问题的方法
是面向解决一般类型的问题呢,还是面向解决某些特殊应用领
城的问题?
第 7章 相关机器学习
7, 2, 2 表示问题
许多表示系统,例如,谓词演算、产生式规则、层次
结构描述、语义网络、框架、脚本等都可以用来表示
事件以及事件的一般化描述。其中,谓词演算具有严
格的语法和语义,因此,关于归纳学习的许多人工智
能工作都采用了谓词演算或某些类似的东西。许多人
对在谓词演算的上下文中进行归纳的理论问题做了重
要的研究。
第 7章 相关机器学习
仅仅“某些学习方法使用谓词演算”这句话并
没有告诉我们关于这个方法太多的东西。大多
数学习方法都对归纳断言的形式作了进一步的
限制。例如,虽然一个学习系统在原理上能够
表示析取描述,但实际上,它没有真正地表
示析取描述的机制。一种“可以表示形式”和
“可以学习的形式”之间的区别方法是指出在
两种形式中都能够实际使用的算子。
第 7章 相关机器学习
7, 2, 3 描述的类型
归纳过程是在描述空间中进行搜索的过程,所以,
必须指明搜索的目标,也就是说必须提供定义
目标描述的标准。虽然这些标准依赖于特定的
问题领域,但是,还有一些明显的规律性可寻。
现在,我们对特征描述、差别描述和分类描述
这三个概念加以区别。
第 7章 相关机器学习
（ 1）特征描述
用来描述一类对象 (或场景、事件等等 )。它表达出对于该类
所有的对象来说都为真的事实,即描述出该类对象的特有的
特征,使得利用这种特征描述能将该类对象与所有其它类的
对象相区别。如,所有桌子组成的集合的特征描述要能将桌
子与所有其它非桌子的东西区别开来,因此,特征描述必须
刻画出桌子这个概念的特有特征。建立特征描述的任务就是
单个概念获取的任务。由于不可能考查给定类中的所有对象
(或不属于给定类中的所有对象 ),因此,特征描述通常是通
过确定对这类对象中所有己知对象 (正例 )都为真的所有特征
来获得的。
第 7章 相关机器学习
在这些需要解决的问题中,我们要注意表示在
这类对象之外的对象的反例也是有效的。因为
反例能极大地帮助限制某个预想的慨念类的范
围。甚至那些接近于正例的反例,即与正例相
差无几的反例也是更有帮助的。
第 7章 相关机器学习
（ 2）差别描述
差别描述是关于对象类在其它类固定集上下文
关系中的描述。它仅仅指出给定类对象的某些
特性,这些特性是能够与其它类的对象区别开来
所必须给出的特性? 特征描述可以看作是差别
描述的极端类型。在差别描述中,给定类与无
限多可以选择类相区别。
第 7章 相关机器学习
（ 3）分类描述
分类描述是针对一对象类,将该对象类分为若干子类。在分
类描述的生成过程中,我们假设,输入数据不一定是单一概
念类的一个元素,而是几种不同的对象类的成员（或它们由
不同过程产生 )。一种重要的分类描述是确定概念聚类的描述，
即按照不同的概念将输入数据划归为多个目标类。
分类描述可以是“平行的”,即所有子类处于相同的抽象级
上；也可以是层次的,即各子类形成一棵抽象树。
第 7章 相关机器学习
分类描述建立在析取关系上，每一类对象
的分类描述通过各子类描述的析取关系而构成。
分类描述是一种描述性一般化，而不是概念获
取。
确定特征描述和差别描述是从预先已分类的例
子中学习的课题,而分类描述（概念聚类）是
从观察中学习或“无师”学习的主要课题。
第 7章 相关机器学习
7, 2, 4 一般化规则
换将不太一般化的描述转换为一般化的描述来得到。因此，归纳推理的
过程就是对初始描述和中间描述反复运用一定的一般化规则的过程。一
般化规则是转换规则,即当一般化规则被运用于分类规则 S1::>K时，
则会产生更一般的分类规则 S2::>K1。这表明：蕴含式 S1 S2成立。
若 S2中描述仅包含 S1中的描述符时，则一般化规则称为选择性规则。
若 S2中含有不属于 S1的新的描述符，则生成规则称为构造性规则。
在通常的情况下,构造性规则要改变归纳断言空间,而选择性一般化
规则不改变其可能的归纳断言空间。
第 7章 相关机器学习
一般化规则的概念有助于进一步理解归纳法是
描述空间中的启发式搜索这一思想。一般化规
则指出了搜索所使用的算子,以便在描述空间
中从一节点转移到另一节点。因为一般化规则
是从方法所使用的描述语言中抽象出来的，所
以它对于不同的学习方法也是很有效的。
降低条件规则是最简单的一般化规则之一，即
为了一般化一个合取式，将合取条件降低。
第 7章 相关机器学习
例如,类别“红苹果”,经过降低条件规则，去掉“红”的
条件，而生成任何颜色的所有苹果的类。
可表示如下：
red (v) & apple(v)::>K
能一般化为：
apple(v),:>K
这是一条选择性一般化规则,因为结论描述中没有引进新的
描述符，一个有用的构造性规则叫“寻找偏序极元”规则。
该规则能通过增加有关在有序链端点元素的描述来扩大结构
性描述。
第 7章 相关机器学习
例如，在对一座四层的办公楼描述中,可以表达成：
“二楼在一楼的上面，三楼在二楼的上面，四楼在三
楼上面”。关系“在上面”构成一个有序链。
符号化如下：
ontop(f2,f1)&ontop(f3,f2)&ontop(f4,
f3)│＜ most-ontop(f4)&least-ontop(f1)
其中 |＜读为“能生成”。
第 7章 相关机器学习
其它选择性一般化规则还有：
（ 1）转换常量成变量规则；
（ 2）增加内部析取规则；
（ 3）闭区间规则；
（ 4）爬山一般化规则。
我们也使用一些特殊化规则。以上一般化描述规则的逆向使
用即成为特殊化规则，另一种重要的特殊化规则称为引入例
外规则，它可用来对一描述特殊化。使其考虑反例。
第 7章 相关机器学习
例如：有学习“鱼”这个概念的程序，其初始前提是，鱼是一种能游于
水的东西；接着，程序被告之：“海豚能游水并且呼吸空气，而海豚不
是鱼”。根据这条信息，学习程序推断鱼应该能游于水并且不呼吸叹空
的东西。
可表示如下：
当前描述：
swims(v),,>K
反例：
swims(v) & breathes-air(v),:> ~k
│> swims(v) & ~breathes-air (v),:>
K
符号 │>解释为“能被特殊化为”
第 7章 相关机器学习
7, 2, 5 构造性归纳
我们在上面已经提到过,构造性归纳就是能生成在输
入数据中没有的、新的描述符号的任何归纳形式。这
个学习程序能形成构造性归纳是很重要的。众所周知,
现在人工智能的许多问题如果不改变表示方法是无法
解决的。现有的许多归纳学习的方法，都还不能完成
构造性归纳。我们说这些方法实现了选择性归纳,是
因为出现的由程序产生的一般化描述中的描述符号是
从那些输入数据的描述符号中选择出来的。
第 7章 相关机器学习
但是，有一些已经研究成型的系统，自然能进行某种
形式的构造性归纳。有的系统实际上就使用了几条构
造性归纳规则，就已经能解决一些小问题。在这些系
统中首先使用构造性规则,然后用到了选择性规则。
另一方面，也有一些系统能够进行构造性归纳和选择
性归纳。它们除了采用了上面提到过的“寻找偏序极
元”规则外，还使用了其它的构造性规则,而且,当
把每一新的描述符号加入所描述的对象中去,都要检测
该描述符号的描述能力。
第 7章 相关机器学习
7, 2, 6 控制策略
归纳法可以分为自底向上、自顶向下和双向搜索三
种方式。为自底向上方法一次处理一个输入对象，
对当前描述集逐步一般化，直到计算出最终的合取
一般化描述：
G2是 E1和 E2的合取一般化描述集合,Gi是 Gi-1 中
取每一元素所得到的合取一般化描述，并用 Ei进行
一般化描述。
第 7章 相关机器学习
自顶向下法则对可能的一般化描述集进行搜索,试图找到一些
满足一定要求的最优的少量“最好”的假设。我们将讨论的
两种方法，目的是寻找少数合取就能覆盖所有输入文件的描
述。搜索过程通过从所有可能描述偏序集中选择初始工作假
定来进行。执行过程中,若描述满足一定的标准,则搜索结
束。否则,对当前工作假定进行一般化或特殊化来修改它们；
然后对这些新的假定加以检查，看是否满足结束标准。修改
和检查过程反复进行,直到满足标准为止。
自顶向下法具有比较好的抗干扰性,并且易扩充以便发现
析取描述；缺点是必须重复地检查工作假定，以确定这些假
定是否能将所有的输入事件归类。
第 7章 相关机器学习
7.2.7 一般的方法与面向问题的方法
通常认为,一般的形式归纳法尽管从数学上看简洁,从理论上看可应
用于多种问题，但实际上,却是很低效的,很难得到有用的结论。因而
使得研究学习方法的人们放弃研究一般性方法 (至少暂时是这样 ),而集
中研究某专门领域内的学习问题，这样能够得到新颖且实用的解决问
题的方法。但另一方面,要从这些面向特殊领域的学习方法中抽象出
归纳的一般原理是很困难的；同样,要把一特殊领域内适用的方法用
到另一领域也是很困难的。
解决这个矛盾的一个可行的办法是将各种一般性的归纳原理（包括
构造性归纳）与解决的具体领域内的知识结合起来。
第 7章 相关机器学习
7, 3 类比学习
7, 3, 1 类比学习的学习过程
通过对相似事物的比较进行学习是人们常用的一种学习方法。例
如，当我们遇到一个新问题要处理时，总是先回忆一下过去已经处理过
的类似问题，找出一个与目前情况最接近的处理方法来处理当前的问题。
把这一思想用于机器学习就得到了类比学习。
近十几年来,类比学习受到了认知科学、哲学以及人工智能研究
者的广泛重视，这一领域的研究不仅是由于它是学习新知识的重要途径,
而且通过对它的研究有助于探讨人类求解问题及学习新知识的机制。
第 7章 相关机器学习
类比学习都是在两个相似域之间进行的。一个是人们已
经认识的域，它包括过去曾经解决过且与当前问题类似的问
题,称为源域,记为 S; 另一个是人们当前尚未完全认识的
域，它是遇到的新问题,称为目标域，记为 T。类比学习的
目的就是要从 S中选出与当前问题最近似的问题及其求解方
法来求解当前的问题。
第 7章 相关机器学习
类比学习的学习过程包括如下一些主要的步骤,
（ l）回忆与联想
当遇到新情况或新问题 T时,首先通过回忆与联想找出
与 T相似的有关问题,这些问题是过去巳经解决了的,有现
成的求解这些问题的知识。
(2）选择
从上一步找出的问题中选出与当前问题最相似的问题及
其有关知识，其相似度越高越好，这有利于提高学习的可
靠性。
第 7章 相关机器学习
（ 3）建立对应关系
一旦获得求解过去相似问题的知识，就要在这些知识与当
前问题之间建立相应的对应关系，以便获得求解新问题的知
识。
（ 4）验证与归纳
验证的目的是检验获得知识的有效性。如发现有错，就需
要重复上述步骤进行修正，直到获得正确的知识。对于正确
的知识，经推广、归纳等过程取得一般性的知识。
以上只是慨括地列出了类比学习的几个主要步骤,在具
体建立一个类比学习系统时需要根据实际情况确定要做的工
作。
第 7章 相关机器学习
7, 3, 2 属性类比学习
属性类比学习主要是根据两个相似事物的属性来实现类比学习的。假
设 S和 T是两个具有相同或者相似性质的事物，如果已经知道 S的元素 s
与 T的元素 t相对应并且具有相同的属性 P，即 P(s)与 P(t)都成立，同时还
知道,s有属性 Q，即 Q(s)成立，则通过属性类比学习可以推出 t也有属
性 Q。即把 S中的属性 Q传递到了 T中来。
一般地，一个属性类比学习系统的源域与目标域可以用框架表示，分
别称为源框架与目标框架；框架的槽用于表示事物的属性。它们的学习
过程就是要把源框架中的某些槽值传递到目标框架相对应的槽中去。
第 7章 相关机器学习
传递分两步进行：
（ 1）从源框架中选择若干个槽作为候选槽
这里的所谓侯选槽是指其槽值有可能传递给目标框架的那
些槽。选择的方法是相继使用如下启发式规则：
[l] 选择那些具有极端槽值的槽作为候选槽
如果在源框架中有某些槽是用极端值填写的,例如“很
大”、“很小”、“非常高”等，则首先选择这些槽作为候
选槽。
[2] 选择那些已经被确认为重要槽的槽作为候选槽
如果某些槽所描述的属性对事物的特性描述占有重要地位，
那么应该引起注意，这些槽可以被选为候选槽。
第 7章 相关机器学习
[3]选择那些与源框架相似的框架中不具有的槽作为候选槽。
设 S为源框架,S'是任一个与 S相似的框架，如果在 S中
有某些槽，但是 S'不具有，则就选这些槽作为候选槽。
[4] 选择那些相似框架中不具有这种槽值的槽作为候选槽。
设 S为源框架,S'是任一个与 S相似的框架，如果 S有某
个槽的槽值 a，而 S'虽然有这个槽但是其槽值不是 a，则这个
槽可以被选为侯选槽。
[5] 把源框架中的所有槽都作为侯选槽。
第 7章 相关机器学习
(2）根据目标框架的已有知识对侯选槽进行筛选
进行筛选时要使用的启发式规则是：
[1] 选择那些在目标框架中还未填值的槽。
[2] 选择那些在目标框架中为典型示例的槽。
[3] 若上一步无可选者，则选择那些与目标框架有紧密关系的
槽。
[4] 若仍无可以选者，则选择那些与目标框架的槽类似的槽。
[5]若仍无可以选者，则选择那些与之类似,且与目标框架有
紧密关系的槽。
第 7章 相关机器学习
通过上述选择，一般都可得到一组槽值。
分别把它们填入到目标框架的相应槽中，就实
现了源框值架中某些槽值向目标框架的传递。
我们 从上面考虑不难看出，属性类比学
习不仅要用到知识表示的有关技术，而且还要
求系统具有推理能力。
第 7章 相关机器学习
7, 3,,3 转换类比学习
在智能技术中虽然有许多知识表示方法，但是还有一种状
态空间的表示方法，它是用“状态”和“算符”表示问题的
一种方法。其中，“状态”用来描述问题在不同时刻的状况；
“算符”用来描述改变问题状态的操作。当问题由初始状态
变换到目标状态时。所用算符的序列就构成了问题的一个解。
但是，如何使问题由当前的状态变换到目标状态呢? 除了可
以用各种搜索策略外，还可以构造其它的问题求解模型。
第 7章 相关机器学习
下面我们来看一种求解问题模型的基本过程,
(1) 把问题的当前状态与目标状态进行比较,找出它们之间的差异。
(2) 根据差异选择一个可减少差异的算符。
(3) 如果该算符可以作用于当前的状态,则可以用该算符把当前状态
改变为另一个更接近于目标状态的状态 ; 反之,如果该算符确实不能
作用于当前状态,即当前状态所具备的条件与算符要求的条件下不一致,
则程序保留当前状态，并生成一个子问题,对此子问题可以重复应用这
一求解问题模型的基本过程。
(4)当子问题被求解后，恢复保留的状态,再继续研究原来的问题。
第 7章 相关机器学习
转换类比学习是新近发展起来的一种学习方法，前
景被研究人员看好。它由外部环境获得与类比有关
的信息,学习系统找出与新问题相似的旧问题有关
知识,把这些知识进行转换使之适用于新问题，从
而获得新的知识。
转换类比学习主耍由两个过程组成,
（ 1）回忆过程
（ 2）转换过程
第 7章 相关机器学习
回忆过程用于找出新、旧问题之间的差别，包括,
（ l）新、旧问题初始状态的差别。
（ 2）新、旧问题目标状态的差别。
（ 3）新、旧问题路径限制的差别。
（ 4）新、旧问题求解方法可应用度的差别。
由这些差别就可以求出新、旧问题的差别度,两
者的差别越小，表明它们越相似。
第 7章 相关机器学习
转换过程就是把旧问题的求解方法经过适当的变换,
使之成为求解新问题的方法。变换时,其初始状态是
与新问题类似的旧问题的解,即一个算符序列。目
标状态是新问题的解。其间要用求解问题模型的基
本过程方法来减小目标状态与初始状态之间的差别,
使初始状态逐步过渡到目标状态，即可以求出新问
题的解。
第 7章 相关机器学习
7.3,4 类比学习在问题空间中的应用
人类大量的问题求解发生在这样一些问题空间，这些空间要么已被
了解得很清楚，要么同熟悉的情景只有微小差别，一个人难得遇上一个
同过去经验中解决过或者观察到的类似问题毫无关系的问题。当然，新
的抽象问题的难题例外。
现在我们转向熟悉的问题空间中的问题求解。什么使得一个问题空
间是“熟悉”的？显然，这个空间主要由与新问题极为相似的过去问题
及相应的解的回忆所组成。这种知识一旦获得，就可以在问题求解过程
中发挥作用。此外，没有其它办法可以解释如下事实：人们在熟悉环境
下解决问题，比在陌生抽象的情景下更快、更自信。一个计算机模型也
应该展示与此相同的技巧获取过程，它应该依靠它过去的可用经验调整
它的问题求解行为。一个问题求解器怎样才能提高到具有这样的适应性
呢? 这是类推转换过程应该解决的问题。
第 7章 相关机器学习
下面，我们研究规划转换问题空间。
一个传统的手段 -目的分析问题空间包括：
（ l）可能的问题状态集。
（ 2）一个被指定为初始状态的状态。
（ 3）一个或几个被指定为目标状态的状态,为简单起见,目
标状态仅有一个。
（ 4）一个算子集，每个算子都有从一状态转变到另一状态的
已知的先决条件
（ 5）一个计算两状态间的差函数（典型地应用于计算当前状
态与目标状态的差 )。
第 7章 相关机器学习
该空间中问题求解包含：
（ l）比较当前状态与目标状态。
（ 2）选取一个能减小此差的算子。
（ 3）若可行则应用此算子,否则，将当前状态存储起来。
（ 4）子问题解决以后，恢复存入的状态并返回到原始问题。
在这种问题中我们怎样利用以前问题的求解知识呢? 首先
考虑最简单的情况：
知识仅仅由以前问题的解组成，每个解都包含一系列算子
和中间状态,包括初始状态和最终状态以及这个解所满足的路
径限制。
第 7章 相关机器学习
搜索一个与当前问题相似的问题的解，它对以下内容之间的
差别进行了比较：
（ 1）新问题的初始状态与已经解决问题的初始状态；
（ 2）新问题的最终状态与已经解决问题的最终状态；
（ 3）要解决的新问题的路径限制与在解决原来类似问题时
提出的路径选择；
（ 4）在新问题的情形下，检索到已经满足的算子序列，其
算子先决条件与已经解决问题的比例，这是很重要的一环。
用于比较初始状态和最终状态的函数称为差函数，一般把
差函数作为相似度量去搜索与目前问题相似但是已经解决的
问题的解。
第 7章 相关机器学习
在问题求解的上下文中，回忆意味着考虑以前
解决了的问题，求解可以经过一番推导之后转变来
解决新问题。计算情景记忆结构之间的相似程度的
一种更复杂的方法是回忆以前问题解的不同部分形
成的层次结构基础。
回忆是类比问题求解中的第一个阶段；第二阶
段为旧的解序列转换为满足新问题准则的解序列。
这个转换过程与问题求解是等价的。
第 7章 相关机器学习
寻找合适的类比转换过程本身就是一个问题的求
解过程，转换问题空间的状态正是原始问题空间中问
题的解。因此，转换空间中的初始状态就是相似问题
中搜索到的解，而目标状态就是满足新问题准则的解。
在新的问题空间中进行求解就是要试图减小差函
数的差值，这是回忆过程中利用相似度量计算出来的，
怎样做？现在有比较多的方法，但实质上也就是在解
空间中面向新问题相似的问题所作的转换向目标靠近
的渐近过程。
第 7章 相关机器学习
类比转换问题求解可以作以下定义：
(1）转换空间中的状态是原始问题空间中问题的可能解；
(2）转换空间的初始状态是回忆过程搜索到的类似问题的解；
（ 3）转换空间的目标状态是满足新问题的解；
（ 4） 转换空间的 T算子将整个解序列映射求解；
（ 5）转换空间（ D）的差度量是初始状态、目标状态与新问
题搜索到的解等之差的组合；
第 7章 相关机器学习
关于 T算子一般有以下功能：
（ 1）一般插入
（ 2）一般删除
（ 3）子序列拼接
（ 4）子序列保存替换
（ 5）初始段并置
（ 6）算子重新排序
（ 7）参量置换
（ 8）解序列截断
（ 9）序列逆转
第 7章 相关机器学习
7, 4 解释学习
解释学习是近十几年来在机器学习领域中兴起的一种学
习方法。它是通过运用论域内的有关知识,经过对实例的详细
分析，从而构造解释、产生规则的。虽然在学习过程中它也
需要实例，但是它与基于实例的学习方法不同，基于实例的
学习方法是采用归纳的学习方式，即通过对大量例子的归纳
得出一般知识，而解释学习只需要一个例子，在学习过程中
它运用论域内的有关知识，经过对实例的详细分析构造规则，
然后对解释进行推广得到一般性的描述。由于它具有与其它
学习方法不同的持点,所以它的出现引起了人们的关注有兴趣。
第 7章 相关机器学习
7, 4, 1 解释学习的描述框架
对于解释学习,可以把它总结为如下框架,
给定,
论域知识 DT
目标慨念 TC
训练实例 E
操作性准则 C
找出,
满足 C的关于目标概念的充分条件
第 7章 相关机器学习
其中，论域知识是被用来描述相应论域的事实和规则,
在学习系统中被作为背景知识，系统用它来证明训练
实例为什么可以作为目标慨念的实例；目标慨念是要
进行学习的概念 ; 训练实例是为解释学习提供的一个
例子。解释学习正是从该例子出发,通过运用论域知
识进行证明的,最终推广出目标慨念的学习描述的 ;
操作性准则用于指明哪些测试在运行时容易被判定,
指导学习系统对用来描述目标的概念进行取舍。
第 7章 相关机器学习
7, 4, 2 解释学习的学习过程
解释学习的学习过程分两步进行：
（ 1） 首先运用论域知识找出训练实实列为什么是目标慨
念的实例的证明 (即解释 )；
（ 2）按操作性准则对解释进行推广,从而得出关于目标
慨念的学习描述。
学习描述既是训练实例的一般化,又是目标概念的特例。
学习的目的就是要产生这样的学习描述，作为目标概念的有
效识别器。
第 7章 相关机器学习
为了具体地了解解释学习的学习过程,我们来看一个
简单的例子。
假设要学习的目标概念是：
年青人总比年纪大的人更充满活力
并且有已知的如下事实：
（ 1）一个实例,张三比他的父亲更充满活力。
（ 2）一组论域知识。
假设这一组论域知识能证明给出的实例就是目标概念
的例子。
第 7章 相关机器学习
解释学习时，系统首先利用论域知识找出所提供的实
例之所以是目标慨念的一个实例的解释,即张三之所
以比他父亲更充满活力是由于他比他父亲年纪轻。然
后对此解释进行一般化推广,即任何一个儿子都比他
的父亲年纪轻。
由此可得出结论, 任何一个儿子都比他的父亲
更充满活力。
这就是解释学习所要学习的最终描述。
第 7章 相关机器学习
7, 4, 3 论域知识的完善性
在解释学习中，论域知识就是对训练实例进行证
明的依据。软件系统是使用论域的知识逐步地进行演
绎，最终构造出训练实例满足目标概念的证明的，即
通过使用论域的知识来说明为什么训练实例是目标概
念的一个实例。显然,只有完善的论域知识才有可能产
生出正确的学习描述，但是，不完善是难以避免的。
第 7章 相关机器学习
有可能出现下述内两种情况：
（ l）不能构造出解释
这是由于缺少某些知识所造成的。系统在构造解释的过程中，由
于缺少必要的知识，使得演绎推理链被迫中断，无法进行下去，不能达
到构造出解释的目标。
（ 2）构造出了多种解释
这是走向了另一个极端。在本来希望构造一个解释的情况下产生
了多个解释。这一问题的产生也是由于缺少知识引起的，已有的知识不
足以把不同的解释区分开来。
为了解决上述问题，最根本的办法是提供完善的论域知识，另外
学习系统也应具有测试和改正不完善知识的能力，尽量避免问题的发生。
第 7章 相关机器学习
7, 4, 4 通用问题求解系统
是其中比较重要的一种。在通用问题求解系统中，有
两类作用不同的知识。一类是特定领域的知识，它用
于求解领域问题；另一类是控制性知识，它描述了如
何去解决领域问题，它是关于如何运用领域知识的知
识。
第 7章 相关机器学习
通用问题求解系统中的解释学习主要用于学习控制性知识。具体表现
在如下四个方面：
（ 1）多目标概念的学习。通用问题求解系统中的解释学习有四种目标
慨念，它们别是
[1] 导致成功的选择。
[2] 后继路径导致失败的选择。
[3] 其它选择都失败。
[4] 巳经达到的目标被破坏或者后面操作所需要的条件被破坏。
(2)操作性的准则肯定将会对新学习到的控制性知识进行可用性的测试，
利用测试结果，只要可用性达到一定要求的知识才会被保留,否则就
被撤消。这里所谓可用性是指知识只在以后问题求解中作用的大小。
第 7章 相关机器学习
(3) 这里可以采用不同的方法，用目际慨念对获
得的实例进行解释，最后根据控制规则模板生成
控制性知识。
(4)自动地把学到的知识变换为可应用的形式。
一个典型的例子是应用于机械车间的调度问题,
试验结果表明，用解释学习得到的控制知识进行
控制,工作效率比学习前提高了一倍，而且自
动学到的知识比人写的知识更完全。
返回
