第十章 设计和实施形成性评价  目标 能够说出对教师开发的材料、教师选择的材料和教师呈现的教学进行形成性评价的目的，所进行的形成性评价有哪几个阶段组成 能够说出几种形成性评价常用的评价量表 能够为一组教学材料或教师呈现的教学制定合适的形成性评价计划，设计评估量表 能够按照对教学材料或教师呈现型教学所制定的形成性评价计划搜集数据 背景 在30年前开发教学材料的情景是这样的：将你的初稿，也许是修改后的初稿，直接当作成品，发给目标人群。结果，由于初稿的不完善，在使用过程中总是会出现很多问题。教师被指责为不会教，学习者被批评说不好好学，而实际上是教学材料不能够很好地支持他们的教与学。 在二十世纪六十年代随着大型课程开发项目的出现，这种未经测试的教材所引起的问题更加突出。在那个时代，“评价”这个概念被定义为新产品和已有产品的有效性比较。在进行这类研究的时候，研究者们经常发现使用新课程材料的学习者成绩相对较低。在对这种情况研究之后，克罗班彻和斯克瑞温认为必须拓展“评价”的概念。他们建议开发者实施后来被称之为形成性评价(formative evaluation)的活动——即在教学材料的开发过程中搜集用于改善教学效度的数据和信息。 有研究表明每年美国卖出的数千种教学产品都没有经过学习者评价，在分发前也没有做过修正。还有研究表明即使是只找一个学习者来试用，根据其使用情况修改教学材料，也会明显改善教学材料的教学效果。因此，教学设计模型的这个阶段强调有必要从目标学习者那里收集与教学材料的使用及教学效度相关的数据，用这些信息使教学材料更加有效。 你应该注意到教学设计模型中设计和开发过程的各个步骤都以理论、研究以及常识为基础。在此刻，你要作为评价人员收集你所开发的教学材料的有效性数据，按照教学设计模型，你应该已经完成了教学材料的开发，并寄希望于它能够帮助那些原先不能完成学期目标的学习者取得重大成就。你现在正处于要验证这一假设的关键时刻。 形成性评价起初是用来作为改进教学的一个过程，在教学材料的第一稿开发出来后进行。但是，有经验的设计人员发现，应该在设计过程的早期各阶段都进行，以防止大量的问题直到教学材料初稿完成后才被发现。 让我们回想一下，在我们讲到教学情境分析的时候，曾经建议使用教学分析的结果向从目标学习者中挑选出来的一些学习者解释你将要教他们什么；在你选择好教学策略之后，我们也建议你用类似的方法——即用你选定的方法来教一些学习者，力求在使用它指导教学开发之前发现策略中存在的问题。上述这两个过程都可以视为形成性评价，因为你在从学习者那里收集信息，在进入设计过程的下一步之前修改教材。现在你要做类似的事情，以更加系统化的方式，对待你所开发的教学。 这一章和下一章的内容划分相当随意，我们一般都认为形成性评价和对教学材料的修改是同一步骤。为了更加清楚地说明这个问题，同时也为了强调在教学材料修正过程中对教学设计全过程进行再度审视的重要性，我们特意把形成性评价的设计和实施从教学材料的修正过程中分离出来单独说明。 在这一章，我们将要讨论如何应用形成性评价的方法，对新开发出来的教学材料、选择并修改的材料、教师传递的教学，以及这三种方式的结合体进行形成性评价。我们还将说明如何把这些方法运用到教学过程中去，以确保教学无论是采用哪种呈现模式，都能够被恰当地实现和管理。 概念 这一章最主要的概念就是形成性评价。形成性评价是教学设计人员用来获取数据，并通过这些数据修正他们的教学，提高教学效率效果的过程。形成性评价的重点是搜集数据，分析数据，改进教学。当教学的最终版本一经完成，就要由其他的评价人员来采集数据并确定其有效性，这后一种评价经常叫做总结性评价（summative evaluation）。称其为“总结性”是因为这时候教学已经呈现其最终形态，而且此时也适合将它与其他类似形式的教学进行比较了。 形成性评价主要分为三个阶段：第一个阶段是一对一评价，或称为诊断性评价阶段，在这个最初的阶段中，设计师从单个的学习者身上采集数据并修正教学材料；第二个阶段称为小组评价阶段，一个由8至20个目标人群的典型代表组成的小组，利用教学材料自行学习，然后通过对他们的测试来采集所需要的数据；第三个阶段通常称为实地试验，在实地试验阶段，有多少名学习者并不是特别重要，一般30个就足够了，关键是试验过程要有一个与“真实世界”尽可能接近的教学情境。 形成性评价的这三个阶段都是由一些并未直接参与教学开发项目，但是有相关经验的专家通过审核教学过程来完成的。下面先介绍这些评价人员的角色，然后再介绍形成性评价三个以学习者为导向的阶段。 学科专家、学习专家和学习者专家在形成性评价中的角色 尽管形成性评价过程的核心是采集学习者的数据，但是请专家对教学做评审也很重要。教学设计师本身也许很熟悉教学内容，也许还有领域专家的协助，也许他也非常了解教学的目标人群，但是，仍旧有很多理由要求听取外部专家的意见。 当教学的第一稿写完之后，设计师可能会面临“只见树木不见森林”的问题，他们可能对教学材料熟视无睹，这时让局外人来评价已开发的成果具有无法估量的意义。一种“局外人”是项目之外对于教学内容领域十分熟悉的专家，这个领域专家（SME）主要评价教学内容的精确性和时新性。尽管很多改进意见都可以接受，但是对于有关改变教学策略的建议要三思而后行。另一种“局外人”是教学所包含的学习类型的专家。一个熟悉该种学习类型教学的同事能够对你的教学策略提出批评意见，并告诉你能增进这类学习的教学理论。 另外，如果有人十分熟悉你的教学对象人群，那么听取他对你的教学草案的意见也是很有帮助的——因为他可以从学习者的视角和可能的反应看待你的教学并提出意见。这类专家可以敏锐地洞察教学材料是否适用于最终的应用环境。 教学设计师并非必须采纳这些专家的建议，也有人提出教学设计师可以等到从学习者那里采集来数据并总结出结论后，再根据这些结论决定是否采纳专家的意见。不过，这至少使教学设计师在学习者开始参与形成性评价过程之前就对潜在的问题有所察觉。 与学习者的一对一评价 在对教学的形成性评价三个阶段进行讨论的时候，我们假设设计师已经完成了初步的开发工作。后面还会探讨对使用现有资料和由教师引导的教学进行形成性评价的过程。 形成性评价的第一个阶段，一对一评价(one-to-one evaluation)阶段的目的是确定并改正教学中存在的明显错误，从学习者那里获得对教学内容的最初使用数据和反馈。这主要通过教学设计师和单个学习者的直接交流来完成，在这个阶段，教学设计师需要和三名或者三名以上具有代表性的学习者一起工作。 标准 在开发教学策略和教学内容的时候，设计师和开发者要就教学内容、学习者、教学形式和教学情境做出多种转换和决定。一对一的评价过程正好给教学设计师一个机会，让他们可以从学习者的角度出发，就他们在开发过程中所做出的转换和决定，进行最初的审视。在评价过程中，设计师需要遵循的三个主要标准是： 1、明晰度：对于学习者个体而言，信息或者呈现给他们的教学内容是否明了、清楚？ 2、影响力：教学对于学习者个体的态度和达到教学目标有没有影响？ 3、可行性：如果得到所需的资源（如时间、教学情境），教学的可行性有多大？ 这种一对一的评价可以用来验证设计师和开发者的预感是否正确，是否存在对目标人群的误解。 挑选学习者 在形成性评价过程中，设计师所做出的最关键的决定就是选择什么样的学习者来参加研究。这不是实验，所以无需从大量学习者中随机抽取样本。实际上，设计师只是要挑选几个能够代表目标人群的学习者，这些学习者要能够代表目标学习者的能力范围，因为先前学过的知识和能力也会影响他们学习新知识和新技能。设计师在挑选学习者的时候，可以挑选一个能力超过平均水平的（当然，不能是水平最高的），一个处于平均水平的和一个低于平均水平的。然后，和每个学习者单独工作。在完成了与这三个学习者的初步评价之后，有时候设计师还会从目标学习者中再多挑选几个学习者进行一对一评价。通常有三个学习者也就足够了。 设计师除了要关注能力因素以外，还要关心其他与学习者的成绩密切相关的学习者个性特点，在形成性评价中系统地考虑。就像我们在第五章中提到的那样，态度和学习者先前的经验非常重要，应该在形成性评价过程中有所体现。比如，在形成性评价的一对一阶段，设计师可以挑选一个对所学的内容具有积极态度的学习者，一个态度一般的和一个持消极态度的。类似地，如果工作经验也是一个重要因素的话，那么就可以挑选一个在这项工作上有十年以上工作经验的，一个有两年到五年工作经验的，和一个工作不到一年的。主要的观点就是：在挑选学习者参与形成性评价的时候，能力不是唯一关键的因素。设计师需要根据不同的教学设计环境做出不同的决定。 数据采集 一对一评价中三个主要的评判标准和要做出的决定可以帮助评价者专注于各类有用的信息。表10.1包含了用明晰度、影响力和可行性三个标准划分的信息种类，表中每个标准类列出的内容只是示例性的，并没有穷尽所有，因为各类信息的相关度会根据学习者的成熟度、教学内容和传递方式而有所不同。 表10.1一对一试验形成性评价标准和每项标准的信息种类 标准   讯息 链接 过程  教学的清晰度 词汇水平 句型复杂性 讯息复杂性 引言 具体阐述 结论 过渡 背景 实例 类比 图解 示范 回顾 总结 顺序安排 教学块大小 教学过渡 教学步调 呈现变换   态度 成绩  对学习者的影响力 信息及技能的有用性（相关性） 要学的信息及技能的难易程度（自信心） 学习者对已学技能的满意程度 后测做题指导及题目的清晰性 后测的成绩   学习者 资源  可行性 成熟度 独立性 动机水平 时间 设施 环境  对于教学的清晰度，上表列举了三大类信息：讯息、链接和过程。第一类，讯息，表示传递给学习者的基本讯息是否清楚明了，与基本讯息相关的考虑包括以下几个方面：词汇、句子的复杂性和讯息结构。无论学习者是读、是听、还是看这些讯息，他都必须要能够理解。第二类，链接，指的是基本讯息是如何根据学习者定制的。这些链接包括上下文、例子、类比、图例、演示等等。当学习者不熟悉这些链接时，基本讯息无疑就变得比较复杂了。第三类，过程，指的是教学的一些特征，诸如教学的顺序、所呈现教学块的大小、两个教学块之间的过渡、教学步调，以及教学呈现中的变化等等。当上述各要素之一对学习者不适合的时候，教学的清晰度就发生了变化。比如教学进度过慢，反复过多，学习者就会丧失兴趣；相反，如果教学进度过快，学习者的理解就会变得有些困难。 描述性信息比数量数据更能提供改进教学清晰度的有用信息。如果教学是通过平面媒体呈现的，无论是在纸上还是在计算机屏幕上，学习者都可以在他们不熟悉的词汇、不清楚的例子、示例和段落下面划线或做标记；他们还可以在他们搞不懂的图表上面做标记。在使用录像带或者幻灯片的时候，学习者可以简略的记录下来哪些术语或者资料是他们不太明白的，也可以随时把录像机或者幻灯机停下来，和评价人员就不清楚的段落或术语交流。无论一对一评价采用什么教学传递方式，我们都可以向学习者问一些教学过程特征方面的问题，诸如教学块的大小和教学步调等。这些教学的过程性特征还可以通过观察来获得，例如可以在学习者听老师讲课的时候，他们读书的时候，或看演示的时候进行观察。这样的观察能够帮助评价人员确定学习者们是在热切地参与学习，还是已经有些厌倦，抑或已经疲累不堪，还可以判断是不是这三种情绪很明显地表现在教学的不同点。 表10.1中的第二个标准，对学习者的影响力，与学习者对教学的态度和他/她在具体学习目标上的学习成就有关。对于态度，评价人员需要确定学习者是否意识到学习是（1）与自身密切相关的，（2）通过适当的努力就可以达到目标，（3）对学习经历感到有兴趣并且满意。至于成就，可以通过后测了解学习者是不是能够回忆起学过的信息，是否能完成任务。对学习成就的考察方式会因教学传递媒体而不同。对学习者的问题或者做题指示可以由教师口头陈述，学习者的回答可以通过（1）纸笔或键盘（2）口头回答教师的问题（3）开发一个作品或者完成要求做的某件事情。 表10.1中的第三个标准，可行性，是在一对一试验期间可以审查的有关管理方面的考虑。可行性方面的考虑包括学习者的能力水平、教学媒体和教学环境。感兴趣的问题包括以几个：（1）学习者的成熟度、独立性和动机水平如何影响完成教学所需要的时间量？（2）这样的学习者能否操作或者轻易地学会操作所要求的专门设备？（3）在这样的环境下，学习者是否会感到舒服？（4）在给定时间内传递教学的费用是否合理？ 过程 一对一评价的典型过程是，先向学习者说明有一套新的教学材料已经设计出来了，希望能够听听他/她对它的反应。你还应该向学习者说明，出现的任何错误都可能是教学材料的不足引起的，而不是由于学习者自身有什么问题。你要鼓励学习者放松地谈论教学材料，学习者不仅要看完教学材料，还要做教学材料提供的测验。你还要记录一个学习者完成教学材料所花费的时间。 教学设计人员发现这个过程在教学材料的准备阶段很有价值。当学习者以这种方式使用学习材料的时候，他们发现了排版错误、内容缺失、漏页、图表编号错误、网页链接错误和其他一些难以避免的错误，学习者经常还能够描述他们在学习顺序安排和理解所教概念上的困难，他们还可以就测验是否测定了教学目标而对测验进行批评。你可以利用所有这些信息来修改教学材料和测验，并改正材料中大大小小的错误。 与教学设计的早期阶段形成对照的是，一对一的形成性评价阶段并不强调设计师的分析技能，它的第一个重要特点是非常依赖设计师的交流能力，即能否在自己和学习者之间建立友好信任的关系，并进行有效的交流。学习者也许从来都没有被要求去评论一个教学，一直以来的假设就是如果学习没有发生，那一定是学习者的错误。学习者必须要确信他们是有权利对呈现给他们的教学材料进行评价的，但是有时候当要求一个年轻人去批评权威作品的时候还是会特别困难。设计师要创造一种氛围，此氛围能够接受和支持来自学习者的负面评论。 一对一方法的第二个关键特点是它是一个交互的过程。如果设计师把教学材料往学习者手里一放，说：“来，读这个，然后告诉我你是否有问题。”那么这个过程的作用就大大地减弱了。设计师应该坐在学习者的斜对面，和学习者一起（默默地）读学习材料，然后在预先设定好的时机，和学习者讨论材料中呈现的内容。对话讨论的可以是某道练习题的答案，也可以是对内容呈现中某点的考虑。在每次进行一对一试验之前，设计师都应该制定一个策略，决定交互该如何进行，学习者如何知道什么时候可以和评估人员讨论。 很明显，每次一对一试验都只有一个学习者参加。不太可能和两个或两个以上的学习者同时进行这个过程。当设计师进行评价的时候，一方面需要将学习者的建议和意见都记录下来，另一方面也要把设计师所做出的有效解释也记录下来。这些内容都可以记录在教学材料的同一个副本上，或者在评价过程中记录在录音带上，总之，采用学习者乐于接受的形式。 评测和问卷 当参加一对一试验的学习者完成了教学之后，他们还要以同样的方式评论后测和态度问卷。在做完了评测中的每道题或每个步骤之后，都要问学习者为什么要做出这种选择。这样不仅能够发现错误，还可以找出错误的原因。这些信息在教学材料的修改过程中很有用。你还会发现一些你认为很清楚的测验题目，学习者却完全理解错误。如果这些错误的题目在进行小组评价的时候仍然存在，那么就会出现一个大问题，即需要决定是这些题目有问题，还是整个教学都存在问题。对评测量表的评价要和对教学本身的评价一样认真对待。 考试指示说明和评价行为、作品和态度的量表在实际用于评价被测者的工作之前，也要进行形成性评价。就象做纸笔测验一样，你必须确保做题指示清楚，学习者按照指示去做，就能够产生预期的行为或作品。 你还必须评估评价量表的可用性。评价量表中各要素的评判标准如下：（1）每个需要做出判断的要素是否可观察，（2）表述方式是否清晰，（3）排列顺序是否有效。对于评价者的响应记录表，你还要检查响应的种类和标准是不是合理，这主要根据你需要做出的判断的种类和数量，你观察、判断和记录判断可用的时间来决定。如果你跟不上学习者的进度，那么你的判断的准确性就会受到影响。 你的判断的可靠性也需要进行评价。这可以通过在一段时间间隔内两次或者多次评价同一个行为或作品来完成。也可以让两个或者多个评价人员使用同样的量表对同一表现或作品进行评价来检验可靠性。如果同一个评价人员对同一作品几次打分不一样或者不同评价人员对同一产品打分不一致，量表就需要进行修改。对量表需要重新考虑的问题包括要评判的要素个数、要评定的等级数目、以及每个等级评判标准描述的清晰度。要被观察的要素数量和要进行判断的等级数量可以减少到能够获得一致性为止。这意味着量表的评价需要多次反复，以确保量表的可用性和使用量表做出判断的一致性。 最后，你还要评价你的评分策略。使用你在量表的形成性评价过程中采集的数据，汇总各要素等级预定的分数，然后在目标层次和总的绩效水平考察这些汇总后的数据。这些数据合乎逻辑吗？可以解释吗？它们可以用来评价教学或者行为的某个部分吗？如果对上述问题的回答是否定的，那么就要修改计分策略和/或打分过程，直到获得了可用的数据。 学习时间 设计人员在一对一评价过程中的兴趣之一是确定学习者完成教学所需要的时间。因为一对一评价期间有学习者和设计师的交互，所以只能得到对时间的粗略估计。你可以从总的时间中减去一个百分量，但是经验表明这样的估计十分不准确。 最后一个关于一对一评价过程的建议就是要提供良好的环境。学习者很少会处在这样一个脆弱的位置，还被要求暴露他们的无知。有时候即使是成人也不得不承认他不知道某个很常见词汇的意思，-------他们总是说要查字典，但是却忘记了。在一对一阶段，设计师处于控制地位，因此有责任为学习者提供舒适的工作环境。学习者可能会因为暴露了他们现在的知识水平而感到不好意思，我们要尽一切可能使得教学更加客观，给学习者更多的支持。因为没有学习者，就没有形成性评价。 数据解释 有关教学清晰度、对学习者的影响力和教学可行性方面的信息需要进行汇总和聚焦。教学的薄弱环节需要重新考虑，并制定修改计划，以便提高该教学对同类学习者的教学水平。在一对一测验阶段进行数据解释的时候，非常重要的一点是：不要过分推广从单个学习者那里收集到的数据。尽管我们能够确保他/她是目标学习者的典型代表，但是无法保证第二个目标学习者会做出类似的反应。目标成员不同的能力水平、期待水平和个性导致了我们从每个人身上得来的数据都可能是不一样的。从一对一阶段获得的信息只能看作是“第一印象”，也许可以推广，也许不可以推广。在这个阶段，教学中的严重错误都会暴露出来，可以马上进行修改，但是教学中还会存在一些问题不会立即修改，而要等到对其他学习者重新试验后，或者在小组评价后才做出改动。 成果 一对一试验的结果使得教学得到了如下的改进：（1）使用的词汇、语言的复杂度、例子和图解都更符合预期的学习者；（2）或者使学习者具备了正确的态度和预期的成就，或者为了在后续试验中提高学习者态度和绩效而修改了教学；（3）适合目前的学习者、资源和环境，具有可行性。教学可以通过小组试验得到更进一步地完善。 在下一章中，我们将要讨论如何汇总在一对一评价阶段得到的信息，以及如何确定需要做哪些修改。在这一章中，我们将继续讨论形成性评价的下一个阶段，这个阶段是在根据一对一评价的结果完成了对教学的修改之后进行的。 小组评价 小组评价（small-group evaluation）有两个主要目的，一个是确定在一对一评价后所作的改动是否有效，学习者还有哪些学习问题；另一个是确定学习者是否可以不与教师交流独立地使用教学材料。（在此的讨论，仍旧假设设计师在设计某种形式的自学材料。） 标准和数据 评价教学有效性经常使用学习者在前测和后测的成绩。前测一般包括入门技能和教学目标，后测测定学习者在从属目标和学期目标上的表现。除了学习者的成绩水平之外，还要通过态度问卷和后续访谈了解他们对于教学的态度。所收集的有关教学可行性方面的信息一般包括以下几个方面：（1）学习者完成教学和所要求的绩效评测所需要的时间；（2）以预定的形式在设定的环境下传递教学的费用和可行性；（3）实施或管理教学者的态度。 挑选学习者 对于小组评价，你大约要挑选8到20个学习者组成评价小组。如果学习者人数少于8，所得到的数据可能不具备代表性；但是另一方面，如果从多于20个学习者处获得数据，你又会发现你所获得的信息超过了你的需要，而且增加的学习者并不能带给你额外的什么有价值的信息。 仔细挑选参加小组评价的学习者非常重要，这些评价材料的学习者应该尽可能地代表你的目标人群。在理想的研究环境下，你应该随机挑选学习者，这样才能把你的发现推广到整个目标人群。但是在典型的学校、业界和成人教育环境下，纯粹的随机经常是不可能的，甚至也可能是不希望的。 当你无法随机挑选学习者、或者你的挑选余地很小的时候，你要尽可能地确保从目标人群的每种类型中至少选取一个做代表，下面给出了目标人群类别的几种划分方法： 学业水平分别为高、中、低的学习者 不同母语的学习者 熟悉某种学习方式（如网络教学）的学习者，和不熟悉这种学习方式的学习者 年轻、没有什么经验的学习者，相对更成熟的学习者 如果你的目标组同质性高，分出这些子类别并不成问题，但是如果目标人群具有不同的技能水平和背景，设计师就应该考虑在小组评价样本中包括每组的代表。例如，你不可能基于对高学业水平学习者在教学材料上的表现，来推断低学业水平的学习者会怎么样。通过挑选合适的有代表性的样本，你就能对教学中要做的修改加深认识。 参加小组评价的学习者有时候也可能是有偏差的样本，因为他们可能是一些比一般人更愿意参与教学的学习者。设计师必须要清楚这个问题，并且要尽可能地获得最具代表性的小组样本，要考虑到在挑选小组评价参与者时所可能碰到的所有限制因素。 另外还有一点很重要：这个阶段虽然被称为“小组评价”，但是这个“小组”指的是学习者的数量，而不是学习者实际使用材料的环境。比如，如果你的教学材料需要使用某个专门设备，而你只得到一台这样的设备，那么你就必须要让这8到20个学习者在单独的环境下使用你的材料进行学习。进行小组评价并不需要将所有的学习者同时集中到一间房间里。 过程 小组评价的基本过程和一对一评价中所采用的截然不同。评价人员（或者教师）先要向学习者解释，学习材料正处在开发的成形阶段，需要得到如何改进的意见。说完这些后，教师就要按照教学材料所设计的实际使用方式组织学习者使用。如果有前测，就先进行前测。在整个过程中，教师要尽可能少地干预。只有在设备出现问题，或者某位学习者学习过程陷入困境，难以继续下去的时候，教师才可以出面解决。每个学习者遇到的困难和解决办法也应该记录下来，作为改进数据的一部分。 评测和问卷 小组评价的其他步骤还包括进行态度问卷调查，如果可能，与小组中的某些学习者进行深入的讨论，听取他们的意见。获得学习者对教学反馈的主要目的是为了从他们的感受中发现教学策略实施过程的优劣所在，所以所提出的问题应该体现教学策略的各个成分。以下问题通常情况下都可以使用： 教学有趣吗？ 你知道你应该学什么吗？ 教学材料直接和教学目标相关吗？ 有足够的练习吗？ 这些练习和教学目标相关吗？ 测验能真正地考察你对教学目标的知识吗？ 在练习过程中，你得到了足够的反馈吗？ 当考试答题时，你感到自信吗？ 这些问题都可以用在态度问卷中，然后在和学习者进行讨论时再进一步深入。通过使用这些从教学策略的成分中导出的问题，诸如上面列举的这些，就有可能把学习者的反馈直接对应到教学材料或教学过程的某个部分。在完成了材料的评价后，在和学习者的讨论中，教师还可以就教学进度、学习兴趣和材料难度等方面提问。 数据汇总和分析 在上述过程中所得到的数据信息和描述性信息都需要加以汇总和分析。数据信息包括测验成绩、所需要的时间和项目费用。描述性信息包括从态度问卷、访谈中收集的评论，以及在试验过程中评价人员所做的笔记。 成果 小组试验和教学修改的目的是产生高质量的教学，这样的教学应该在预设的学习环境中对大多数目标学习者都有效。对教学所做的修改可能很简单，比如换个例子，或者给测验题目换个词，增加分配给学习的时间等，但也能需要对教学策略做较大的改动（如动机激发策略、目标安排顺序、教学传递方式等），或者改变呈现给学习者的信息。一旦教学经过了充分地修改，实地试验就可以开始了。 在下一章中，我们将举例说明如何汇总数据，如何确定它们对修改过程的影响。在这一章，我们集中注意力于形成性评价研究和数据的采集。 实地试验 在形成性评价的最后这个阶段，教师要在一个与教学材料最终使用环境尽可能相像的学习环境中进行评价。这个形成性评价最后阶段的目的之一是确定在小组评价之后所做出的改动是不是有效。另外一个目的就是要看看教学在它预设的使用环境下是否能够使用——也就是说，在预设环境中从管理方面考虑实施该教学的可能性。 为了回答这些问题，所有的教学材料，包括考试卷和教师手册，都应该加以改进并做好实地试验的准备。如果可以找到教师实施教学，那么设计师就不要再担任这一角色了。 评价地点 在挑选实地试验的地点时，你可能会遇到以下两种情况之一。第一种情况是，你要在一个平常使用大班教学、固定步骤的班级里试验你的教学材料，对于这些学习者来说，使用自学材料可能是很新奇的、不同以往的经历。因此，为了给新教学过程的实施打好基础，你需要向学生们解释怎么使用这些教学材料，这些材料和他们平时使用的有什么不同。你十有八九会看到学习者兴趣高涨，但是如果他们的成绩没有提高，那么他们的兴趣高涨只是因为这种教学打破了他们原有的教室教学方式而已。第二种情况是，你可以在一个个性化教学的班级里试用教学材料，问题是可能很难找到足够多合适的学习者来使用你的教学材料，因为这些学习者们在学习材料的时候过于分化。 评判标准和数据 实地试验与戏院的最后彩排很类似，因为教学都已经尽可能地修改完善好了，准备尽可能地按照最后的方式传递。另外，与彩排类似的一点是，实地试验的主要目的是要找出并消除教学中尚存的问题。小组试验和实地试验有许多相似之处，两类试验的过程中都要决定学习者的表现是否适当，教学的传递方式是否可行；另一个相似之处是，二者都是采集学习者的成绩和态度信息、教师的教学过程和态度，以及诸如时间、费用、空间和设备等资源信息。二者的最主要差别在于教学材料、学习者、过程、教师和环境的真实程度不同。 挑选学习者 你需要找大约30个学习者来参加你的实地试验。同样，要确保这些学习者为教学材料所针对的目标人群的代表。因为很难找到“典型”的一组人，所以设计师经常挑选几个不同的小组来参加实地试验。这样的好处是有可能收集所有目标环境下的数据，这些环境如开放教室、传统教学，以及远程学习中心。 如果教学材料的目标教学地点差别很大，那么就有必要多选几个试验地点。因为在教学材料使用的时候，设计师可能不在场，所以设计师应该告诉老师应遵循的教学过程和需要采集的数据。 实施实地试验的过程 进行实地试验的过程和进行小组试验的过程类似，只有少许不同。主要的变化是设计师的角色，在实地试验里，设计师除了观察整个教学过程以外，不再做其他事情，教学由一个典型的教师实施和传递。因此，设计师可能需要设计和传递对教师的培训，这样教师才能知道该怎么使用这个教学材料。 另外一个变化就是考试题减少了。基于小组评价的经验，对前测后测进行了修改，可能减少到仅仅测试最重要的入门技能和最重要的要教的技能。原因是，在开发过程的这个阶段，形成性评价主要关心的是教学在预期的学习环境下的可行性。 问卷也要进行修改，更关注设计师认为对教学的成功很关键的环境因素。总之，问卷的问题集中在可能影响教学成功的各种因素。对教学使用过程的观察，与学习者和教师访谈，都是非常有价值的。 数据汇总和解释 实地试验的数据汇总和分析过程和小组评价是一样的。成绩数据应该按照教学目标来组织，同样，只要有可能，学习者和教师的态度信息也应该按照教学目标来组织。按照这种方式进行汇总的数据可以帮助确定哪部分教学有效、哪部分教学无效。从实地试验得来的信息可用于规划和进行对教学的最后修改。 成果 实地试验和对教学进行最终修改的目的是为了得到有效的教学，这样的教学能够使学习者产生要求其达到的学习成绩和态度，并且这个教学要能够在预想的教学环境中正常工作。根据实地试验所收集的数据，我们要对教学进行适当地修改。当修改完成后，就可以开始在技能应用环境下的形成性评价了。 应用环境下的形成性评价 我们已经讨论了形成性评价的三个阶段，这三个阶段都要采集学习者成绩和对教学态度方面的信息和数据，每个阶段的教学环境也不相同，从一对一评价时的非正式环境，到实地试验中真实的学习环境。但是还遗留了一个问题，就是学习者能否在我们称为“应用环境”——即最终需要运用该技能的环境——的地方运用他学到的新技能。 没有哪个新学的技能只是为了在学习的过程中使用，学习技能的目的就是要在其他的时间、其他的场合运用这些技能。设计师不能忽视这一点，而应该在合适而可行的时候，在形成性评价的计划中包括这方面的评价。设计师需要确定所教过的技能是否能够保持，是否会在应用环境中使用，这些技能的使用是否对组织产生了预期的影响。如果我们得到的是回答是否定的话，那么设计师就必须确定这对培训的修改意味着什么。我们接下来要描述的就是如何在应用环境中进行形成性评价，它可以在学习环境形成性评价的任何一个阶段之后进行。 这种在实际环境下进行的形成性评价基本上要确定三件事情。首先，学习者是否意识到可以在工作场所运用他们学到的新技能，并且是不是已经在这么做了？其次，如果已经使用了这些技能，对组织产生了什么影响？最后，学习者及其同事对改进教学有何建议？因为学习者后测成绩好而被认为成功的教学，并不能保证学习者在工作上取得成功。 标准和数据 应用点的评判标准和数据因环境而异，评价方法也要根据具体地点而调整。为了收集培训有效果的证据，我们需要挑选最适合的过程，你可以考虑从直接观察和公司记录中获得绩效数据，以及从学习者、他们的同事，甚至他们的客户那里得到观点和态度方面的感性数据。表10.2汇集了一些基本问题、可能的数据来源以及数据采集的方法。在形成你自己的问题的时候，要具体说明哪些技能是你的评价最感兴趣的。 表10.2 应用环境形成性评价要问的问题、数据来源和数据采集方法 问题 数据来源 数据采集方法  技能是否得到了迁移？ 如何使用技能的（频度、环境）？ 有哪些物理环境、社会环境和管理方面的因素促进了技能的迁移和使用？ 有哪些物理环境、社会环境和管理方面的因素阻碍了技能的迁移和使用？ 应用所学技能是否有助于解决最初问题？怎样解决的？有何证据？ 培训还可以怎样改善提高？ 学习者 同事/伙伴 学习者的下属 上司 客户 公司记录 访谈 问卷 观察 记录分析  你可能会认为应用环境的形成性评价只适用于培训班或者技能培训，其实并不是这样，虽然在这些环境中确实很容易理解应用环境形成性评价的概念。进行这类评价的最大障碍是时间。对于某些教学而言，学习者马上就会用到新学的技能，因为这些技能是技能层次流的一部分（比如运用造句技巧写短文），设计师可以在随后的几周内做跟踪研究。但是对于那些几年都不会用到这些技能的公立学校的学习者，或者那些很少用到新学技能的培训经理来说，该怎么做这类评价呢？对于某些教学而言，这种延迟是可以接受的，一方面可能是整个项目周期很长，另一方面也与这类信息的重要性有关。 挑选回答者 谁应该来参加这一阶段的形成性评价呢？如果这个评价是紧接着一对一评价进行的话，当然所有参加一对一评价的学习者都应该参加本阶段的评价，但是如果是在小组评价或者实地试验之后进行的，则就只需从参加这些评价的学习者中挑选一部分样本学习者即可。学习者的挑选是根据他们的后测成绩和态度问卷。可以挑选一些水平高的、一些水平低的，和一些具有设计师所感兴趣的特殊环境的学习者。同样的问题还要问学习者的管理人员和上司。他们的回答可能与学习者一模一样，也可能截然不同。学习者的同事及下属也可以为教学的效果提供有价值的见解。他们是否注意到学习者运用了这些技能？这些学习者工作效果好吗？他们能否做得更好？ 过程 无论哪个阶段的形成性评价结束后，都要告知学习者以后某个时间会再和他们联系，讨论他们刚完成的这个教学和该教学的有效性。然后，在给所学的技能充分地运用时间后——这依教学目的特点而异——再联系学习者。在理想状况下，设计师应该深入到技能运用的实际工作环境，但是这种和学习者的接触也可以通过电话来进行。 成果 在实施点形成性评价所获得的数据可以被用来证明教学的优缺点、说明技能到应用环境的迁移，技能的使用情况，以及最初的需求通过教学在多大程度上得到了减少或消除。这些数据需要进行汇总，并且与学习者、他们的上司和其他力求通过该教学来减少或消除最初需求的人分享。另外，那些在工作场合发现的阻碍新技能的迁移和运用的问题也要被记录下来，并通告该组织。因此，实施点的形成性评价的成果应该是这样的几类文档：（1）教学的优缺点，（2）能够更好地支持新技能迁移和运用的地方，（3）对教学的修改建议，以消除影响新技能在工作场合实施的教学障碍。在下一章中，我们将讨论如何使用这些文档通过消除所发现的不足来完善教学。 采集对教学的反馈数据 你可以使用哪个参考框架来设计形成性评价呢？一定要记住，形成性评价的目的是要查明在教学材料中存在的错误，以便改正这些错误。评价的设计——包括量表、过程和人员——取决于问题的位置及问题发生的原因。如果仅仅关注教学的目的和目标就太局限了，尽管知道学习者在教学目的和目标上的成绩十分重要，但是光知道这些是不够的，因为这些数据只能告诉我们错误发生在哪里，却不能告诉我们为什么会出现这样的问题。类似的，用那种散弹打鸟的方法采集数据也是不合适的，尽管你可以就你想到的任何事情收集数据，这些数据也能够提供各种信息，但是这种方法所产生的一些数据可能是无关的或不完整的。 也许形成性评价设计的最好着眼点或设计框架就是教学策略，因为教学策略是创建教学材料的基础，你在创建过程中可能会发生各种各样的错误，而教学策略就是找到这些错误并了解他们特性的钥匙。将教学策略作为开发形成性评价量表和过程的参考框架，可以避免所设计的形成性评价过宽或者过窄。 如何利用教学策略来辅助设计形成性评价呢？一种方法是建立一个矩阵，把教学策略的各个成分列在一边，把有关教学的主要问题域列在另一边。在矩阵交叉单元中，你可以产生出与每个问题域和每个教学策略成分有关的、在评价中需要回答的问题，然后你就可以使用这些问题，开发评价要用到的量表和评价过程，确定能提供信息的适当人选。 现在，你应该非常熟悉教学策略的不同成分了。那么对于教学材料的每个部分都应该问哪些普遍性的问题呢？尽管每个教学材料都会有一些特定的问题，但是下面这5个问题域应该对所有教学材料都合适。这些问题域与你在开发教学材料时所做出的决定直接相关。 教学材料是否适合特定类型的学习？根据教学目标是智慧技能、运动技能、态度还是言语信息，在教学材料开发时会有不同的做法。你应该关注你所产生的教学材料是不是与所建议的能力类型一致。对教学材料这方面做评价的最佳人选是这种学习类型的专家。 教学材料是否完整包括了所需学习的各个技能，各个技能的学习顺序和分块安排是否合乎逻辑？这个问题域的最佳评价者是内容领域的专家。 材料表述对于目标人群的代表来说是否清晰、易理解？显然，只有目标人群的成员可以回答这些问题。熟悉目标学习者的老师也可以为你提供初步的信息，但是只有学习者能够最终评判教学材料是否明了清晰。 教学材料是否能激发学习者的学习动机？学习者是否发现教学材料和他们的需求和兴趣相关？他们在利用教材学习过程中是否具有自信？他们对已经学到的东西是否满意？我们要再次强调：最适合在这个方面做出判断的人是那些目标组的代表。 教学材料所采用的媒体形式是否能有效施行？目标学习者和教师都适合来回答这个问题。 表10.3是设计形成性评价的推荐框架。使用这样的框架，能确保你的设计包括了与教学材料中不同部分相关的各种问题，同时也包含了适当的群体和个人。 表10.3 形成行评价设计框架 有关教学材料的主要问题域  教学材料主要成分 学习类型 内容 清晰度 动机 管理  教学前 动机激发 教学目标 入门行为       内容呈现 顺序安排 单元大小 内容 举例       学习者参与 练习 反馈       评测 前测 后测 应用环境       谁做判断？ 学习专家 内容专家 目标学习者 目标学习者 目标学习者/教师  怎么收集数据？ 核查表 访谈 核查表 访谈 观察 访谈 测验 材料 观察 访谈 测验 观察 访谈  请注意上面这个矩阵最下面的两行。第一行显示哪些人或哪组人最适合评价教学材料的这个方面，第二行提醒你必须要考虑如何从评价者处收集所需要的各类信息。你还要创建一个核查表或者一个问题列表，配合你向所选择的专家提供的材料。你或许还需要对这些专家进行访谈，以确定为什么他们认为教学的某部分不合适，获得他们关于教材应该如何改进的建议。 在设计从学习者那里采集数据的量表时，你需要考虑所处的评价阶段（如，一对一、小组还是实地试验）、评价环境（学习环境还是应用环境），以及你所采集数据的性质。在一对一评价的时候，教学材料本身就是一种量表，你可以让学习者直接在教学材料上圈出字句或者写下他们的评论。矩阵中交叉单元所包含的问题，可以用来开发其他的量表，比如指导观察的核查表或包含在访谈和问卷中的问题。需要注意的是，尽管在这里有关材料的不同问题域是分开描述的，但是这并意味着要用不同的量表。总之，你所设计的量表要能有效地从参与者那里采集数据。 你需要采集的数据最少应该有以下几种： 学习者的入门能力测试、前测、后测成绩，以及在应用环境下的表现 学习者在材料上遇到困难的地方所做的标记和评论； 从态度问卷和总结讨论中采集的数据，揭示了学习者对教学的整体反应，面对教材中困难的感受，以及对教学过程的看法； 学习者完成教学各个部分所需要的时间； 领域专家的意见，领域专家负责确认教学单元的内容是否准确而且是最新的； 观察过学习者在应用环境下运用这些技能的上司或管理人员的看法。 对选定材料的形成性评价 如果对一组学习者试用的教学中选择了现有的材料，那么前面所介绍的形成性评价的三个阶段就不完全适用了。因为在使用现有材料时，不会去进行一对一评价和小组评价后所进行的材料内容的编辑和修订。不做这些过程，并不是因为它们对改进教学没有帮助，而是因为在现实中，选用现有材料进行教学的老师很少有时间和资源来进行这两个阶段的评估。在这种情况下，教师会直接向一组学习者进行实地试验。对现有材料进行形成性评价的一个主要目的是确定该材料是否适合于特定环境中的特定人群，另外一个目的是要找出该材料需要增删之处，以及教学步骤中需要变动的地方，以提高材料的使用效果。基于上述原因，对选定材料进行形成性评价的过程与前面谈到的实地试验最为接近。 现有材料实地试验的准备工作如同新设计材料的实地试验一样，先要做有关文档的分析，这些文档包括材料的开发文档、特定人群使用材料的效果，以及用于实地评价阶段的特定过程的描述信息。特别是要研究一下材料会被如何使用，对材料附带的测试要分析其与行为目标的关系，分析是否需要增加其它测试或态度问卷。 在实地试验中，通常教师都应该进行前测，除非能够很明确地知道学习者已经具备入门能力，并对要教授的内容缺乏了解。当然，应该准备后测和态度问卷，以评价学习者的学习结果和他们对材料的看法。 在对选用的现有材料或经过改编的现有材料进行实地试验时，教师能够观察到学习者使用这些材料的过程和态度，教师甚至可能观测到使用修改或未修改材料的不同组学习者的表现，这样就可以确定对现有材料所做的修改是否提高了该材料的教学效果。当然，教师应该花时间跟随整个实地试验过程，并听取学习者描述自己对教学的看法，因为通常能从这个过程中获取一些对材料和教学过程的好见解。完成对选定材料的实地试验后，教师应该能搜集到和对新设材料进行形成性评价后得到的类型种类差不多的数据。 对教师引导型的教学进行形成性评价 如果教师打算使用教师引导对一组学习者进行教学，那么对这种教学进行形成性评价的目的与对自学材料的形成性评价基本相同，即确定教学是否有效以及如何改进。而且，对教学计划的形成性评价和对教学材料进行实地试验也是很相似的，在这种情况下，往往没有时间进行一对一评价或小组评价。 在准备对教师引导型的教学进行实地试验时，教师要关心学习者的入门技能、已有知识，后测知识及学习者的态度，提供交互练习和反馈。交互练习和反馈应该包含在教学策略中，因为学习者需要机会来展示他们所学到的技能，这些过程还可以用来确定学习者尚未掌握的技能。这类发生在教学过程中的练习和考核可以采取两种形式：或者由教师向不同的学习者口头提问，记录他们的表现，或者在课堂上定期发放印刷好的练习和答案，后一种可以提供有关学习者进展的具体证据。 教师还可以利用实地试验这个机会来评价教学过程。对教学过程的观察可以显示分组模式及时间分配是否合适，学习者对各种课堂活动兴趣如何。 很多教师已经在教学中采用这些类型的形成性评价了，我们这里强调的是要彻底地和系统化地使用这些技巧来收集和分析修改教学计划所需要的数据。这些课堂数据可以与后测成绩、态度问卷，以及学习者在课堂结束后的评论相对比，用以确定教程计划中的不足，并为纠正不足提供线索。 对选定材料的实地试验和对教师引导型教学的实地试验经常是交织在一起的，因为选定材料的使用往往需要教师的参与，同样地，教师引导中也会用到一些已经准备好的教学材料。在这两种情况下，会采用大致相同的实地评价过程，并进行同样类型的修订。 搜集选定材料和教师引导型的数据 有关新开发教学材料实地试验数据搜集方面的很多考虑都同样适用于评价选定材料和教学过程的数据收集过程。比如，在教学中用到的设备必须是状态良好可用的，进行实地试验的环境要适宜传递学习等等。 当教师对自学材料、选定材料或教师引导教学进行评价时，与学习者气氛和谐友好十分重要。在对材料或教学引导进行评价时，要让学习者认识到他们参与的重要性，并积极为研究做出贡献。与熟悉的学习者一起工作的教师，因为了解学习者的入门技能，往往能够准确预测学习者的前测表现。但是，教师应该避免完全依赖这种推测，如果对学习者表现有任何疑虑，都要进行测试，来确定是否需要特定技能的教学。 当教师选择多个材料来实施某种教学策略时，会出现一些特殊要关注的问题，有关的信息可以通过观察和问卷来获得。主要的问题是“教学是否统一？”。为了回答这个问题，教师要确定指导学习者学习不同材料的指导是否充足，是否注意了教学材料之间的冗余和空缺，以及教学策略中是否有足够的反复和回顾？如果是教师呈现教学，那么在教学呈现过程中也要注意这些问题。由学习者提出的各类问题是发现教学策略不足之处的关键。 影响形成性评价的一些因素 教学设计过程的形成性评价部分会因为教学理论方法和哲学观的不同而不同。但不管怎样，你都不能靠推测来说明你的教学材料具有有效性，而必须要用学习者来测试这些材料。因此，你要尽可能搜集最真实反应材料有效性的数据。在计划和实施数据搜集过程时，设计师还要对形成性评价的环境和参与评价的学习者做如下几方面的考虑。 环境方面的考虑 在评价你的材料时一个要关心的问题是所有技术设备都要能有效地运行。很多教师就是在使用新材料时因为新材料要用到的设备不能正常运作而受挫，结果是从学习者处得来的数据无效，教师也只得到了为了试验材料必须要保证设备良好运作的教训。 另外，在形成性评价早期阶段，尤其是一对一评价时，与学习者一起工作的环境一定要安静，要能集中学习者的注意力，这一点很重要。这也就是说，你要考虑的是在可能最好的条件下材料会怎样工作，在进入小组评价和实地试验后你会逐步增加对材料在更真实的环境下如何工作的认识。如果实际环境是噪音相对较大的教室，那么你可能会想知道材料在这种环境下能否工作，但不应该从这种条件开始形成性评价。 学习者方面的考虑 在形成性评价的任何阶段选择参与评价的学习者时，都要避免完全依赖教师对学习者入门知识的判断。只要可能，都要进行入门知识测试，以确定被试是否为该教学材料目标人群的一份子。经验表明，由于各种原因，教师有时候对被推荐参加形成性评价研究的学习者的教学准备情况估计不准，所以要尽可能地去确定学习者的入门知识。 在获得学习者入门知识和技能的信息后，你有时会遇到这样一个问题，有些学习者已经掌握了要教的部分或全部技能，有些学习者不具备所需要的入门技能，对于这些学习者你会怎么处理，将他们从形成性评价的学习者中去除吗？ 我们建议形成性评价中要包含一些不完全满足对真实目标人群技术要求的学习者。那些已经知道一些教学内容的学习者可以作为“内容熟悉者”，用以推测其他不了解教学内容的学习者对教学将有的反应。你还可以判断你的教学是否能够将这些学习者带入百分百的通过率，如果你的教学对这些学习者无效，那么对其它不具备这些知识的学习者就更不可能有效了。 那些不具备入门技能的学习者也应该包括在形成性评价中。因为入门技能是理论分析得来的，需要被证实。如果那些不具备入门行为的学习者经过努力有所进步但未能达标，而那些具有入门能力的学习者都达标了，这说明你对入门技能的分析是正确的。但是如果不具备入门行为的学习者也通过了教学，你就需要认真考虑你所确定的入门技能了。 前面我们提到，在一对一形成性评价时，设计师至少要使用三个学习者：一个高能力的，一个中等水平的和一个能力较低的。这个含糊的建议可以进一步细化为：将高能力的学习者定位为已经了解部分教学内容的学习者；中等水平的学习者为具有入门能力但是不了解要学的知识和技能的学习者；低能力的学习者定义为缺乏部分或全部入门技能的学习者。按照这种定义，设计师可以很准确地确定能力范围，研究表明，这三类学习者会为设计师提供不同的有用信息，因此都要包括在形成性评价中。 评价结果方面的考虑 在经历了深入的教学设计过程之后，你还是要有思想准备去接受那些指出你的材料并不如你预想的那么有效的信息。当花了大量的时间和精力投入某个项目时，你就会深深卷入其中，因此在发现你的努力并不完全满意时，就会感到深深地失望。 但是你要注意，在形成性评价过程中，来自学习者的正面反馈对于你应该怎么修改材料提供的信息很少，这些正面的反馈只说明你的材料对现在使用材料的学习者有效，所以你只能做有限的推广，即说这些材料对具有类似能力和动机水平的学习者有效果。 在你进行形成性评价的过程中，不妨假装这些材料是由另一位教师开发的，你是在为他进行形成性评价。我们不是建议你去这么误导学习者，而是为了你能以局外人的心态，更好地倾听学习者、教师和内容专家的意见。这些反馈必须和客观题考试结合，以反映出你的材料在多大程度上能满足你为它们设定的教学目标，它们可以如何改进。 形成性评价实施方面的考虑 虽然理想的教学设计过程是在普及教学使用之前，完成这三个阶段的形成性评价，但是有时候却不可能遵循这个过程。在很多情况下，或者没有足够的时间进行形成性评价，或者没有经费来做形成性评价。那么在这种情况下，设计师能够做什么呢？ 首先要考虑的是在正式实施教学前，是否有可能实施某种类型的形成性评价。能否把一些一对一评价的技巧结合到实地试验中？能否找到人通读材料，看它是否达到了承诺？能不能进行角色演练确定其是否有效？大多数设计师都承认把新设计的教学不经过试验就应用是相当冒险的，但是有时候这样做又是难以避免的。 如果教学没有经过任何形成性评价就应用到目标人群了，那么也还是有可能利用这个机会搜集一些可以用来改进教学的信息。在这些情况下，其数据收集过程就是实地试验的数据收集过程。问卷数据、考核信息可以与对学习者的观察和对教学的直接讨论结合起来，以确定要做那些类型的修改。 对于设计师来说，基本原则就是形成性评价是一定要进行的，问题是何时、何地、以何种方式进行。有时候有充足的时间和资源进行本章所叙述的三个阶段的形成性评价，但是在不可能这么做的时候，设计师也有责任想方设法通过各种途径，尽可能多地搜集有关教学各个方面的信息，以便教学能得到适当地改进。 教学设计过程中的问题解决 在教学设计过程中，设计师经常会面对一些问题，这些问题可以用从学习者处收集的数据来解答。在教学设计过程中，统计一下在我们需要设定一个设计参数时，有多少次是说“让学习者来告诉我们答案吧”，将会是一件很有趣的事情。整个形成性评价过程就是一个从学习者处收集数据，回答你对教学已有（或还未有）的问题的过程。 假设在经过了一系列一对一评价之后，发现你的教学中图解使用方面存在着问题。有几个学习者喜欢这些图解，并愿意使用他们，但是也有一些学习者觉得它没有用。因为在教学中使用图解是很昂贵的，所以必须回答的重要问题是：“你的教学是否一定要用图解？” 为了回答这个问题，设计师可以开发两个教学版本，用于小组评价。10个随机选择的学习者接受有图解的教学，另外10个学习者接受没有图解的教学，然后比较两个组的表现和态度。他们在后测的表现如何？他们在那些与图解有关的题目上表现如何？在态度问卷上他们对使用图解（或没有图解）有什么说法？两个组的学习时间相比呢？ 这是研究吗？并不能算，其目的只是为了决定某个教学单元该怎么做，而不是要找出教学中使用图解的好处。设计师在形成性评价时要收集有关图解的足够数据，对是否要在教学中继续使用图解做出决定。设计师还可以采用同样的方法，回答在设计过程中不可避免会出现的各种问题。 示例 下表中包含了你在计划一对一评价、小组评价和实地试验时可以使用的信息。在你阅读下面这些建议的步骤时，假设你是知道你的目标人群的，只是不太确定他们是否具有所需要的入门技能。后面的例子所提供的也不是你在形成性评价时要做的全部活动，而是你开始思考你的项目的时候可以采纳的一些建议，你还要为你的项目确定一些其他的活动。 形成性评价活动 一对一评价 目标人群学习者的参与 确定学习者是目标人群的典型代表（包括了在目标人群中能够找到的每种主要类型） 安排学习者参加试验 和学习者单独讨论教学材料的一对一评价过程 评价所设计的前测对入门技能的测试效果 学习者能读懂做题指示吗？ 学习者理解问题吗？ 学习者具备预备技能吗？ 在学习者学习教学材料的时候，坐在学习者身边 告诉学习者如何在教材上记录他们所遇到的困难，与他们讨论观点和问题 如果学习者不能理解所举的例子，那么马上口述另一个例子，是不是就清楚了？纪录所做的修改，并记下整个过程中你的建议 如果学习者不理解某个解释，就再增加些信息，或者改变内容呈现的顺序，是不是就变得清楚了？记录下你所做的修改 如果学习者在学资料的过程中出现了厌烦情绪或者有些糊涂了，这可能表明你需要改变所呈现的信息块的大小 记录下你在形成性评价过程中所增加的每个例子、图示和信息，以及顺序方面的改变，否则你会忘记重要的决定或想法。这种笔记要写得快些，简洁些，这样学习者的注意力才不会偏离教学材料。 你可能会选择再测试一个学习者，然后再对你的材料进行修改，这样可以发现修改是否真的必要。如果你的第一个学习者所发现的错误显然是个问题，那么你可能还是希望在测试下一个学习者之前做出修改，这可以节省测试时间，让下一个测试者集中发现材料中可能存在的其他问题。 领域专家的参与 你要为专家提供以下的材料： 教学分析 行为目标 教学材料 考试卷或其他考核量表 这些材料都应该是草稿形式，因为主要的修改大多发生在一对一评价期间。你可以按照上面的顺序提供材料。 你需要得到对以下内容的确认信息： 教学目标陈述 教学分析 内容是否准确、时新 教学材料在词汇、兴趣点、顺序、内容块大小和学习者参与活动方面是否合适 考试题和考核环境是否清楚、合适 这块内容与前后内容的顺序关系如何 至于应该请几位领域专家，取决于你的材料所覆盖的信息和技能的复杂性。对于有些教学，请一位专家就足够了，但是对于其他教学，请四位专家可能还嫌少，学习任务决定了你需要的专家顾问的数量和类型。 一对一形成性评价的成果 再次考虑你希望在一对一试验期间获得的信息 不完善的教学分析 对目标人群所具备的入门技能判断失误 不清楚或不合适的教学目标和不切实际的期望值 不适当的信息呈现和举例 太抽象的例子、图形或图示 一次信息太多或太少 信息呈现的顺序有误 例子不清楚 不清楚的考试题，考试环境或考试指示 不恰当的用词或不清楚的思路 应用环境下的形成性评价 确定在学习者完成了一对一评价后再与他们联系是否合适可行 通过电话或者个别见面，了解学习者会在什么时候如何使用培训中所教的技能 从管理人员那里了解该组织对使用所学技能的支持程度 观察学习者使用技能的情况，访谈他们的同事、同学或下属 确定使用这些技能能否解决需求分析时所确定的问题 征求教学材料修改建议 小组评价 来自目标人群学习者的参与 找到一组能够代表你的目标人群的学习者 安排小组参与试验 安排测试时间和教学活动 要激励学习者积极参与 所挑选的学习者是目标人群的代表，你可以从目标人群的主要分类中各挑选几位 在前测、教学和后测期间，你可能想到要为使用教材的教师写些建议。根据对学习者使用教材情况的观察，记录下你打算对教学或教学过程所做的修改 如果需要，进行对所需入门行为的前测 检查做题说明、答题格式和问题，看看文字是否有条理 告诉学习者对于不理解的词如何圈出，在感觉有问题的地方或者指示说明不清楚的旁边画一个( 在学习者做测试的时候基本上不打断学习者，也不和学习者讨论不清楚的题目，除非他们陷入其中，停顿下来 记录学习者完成入门考试所需要的时间 对教学中要学的技能进行前测，如果可能可以将这个测试和预备技能测试结合为一个前测。 让学习者圈出所有他们不太清楚意思的词 让学习者在他们认为不清楚的指示说明、问题和答题要求旁边画一个( 如果学习者愿意，可以在考试的时候写下评论 在考试期间不和学习者讨论问题 管理教学材料。 让教学环境尽量接近现实，准备好所有的设备和要呈现的材料。试验过程中如果需要，随时可以得到教学辅助。 告诉学习者为了评价教学材料你需要他们的帮助 让学习者在所做的工作上签名，这样你可以将他们在课上的表现与入门技能的表现作对比 教学习者如何圈出不清楚的词汇，在教学材料中表述不清楚的图解、实例或解释旁画一个(。学习者应该一直学习教学材料直到结束，其间不允许讨论 记录学习者学完教学材料所需要的时间，学习时间可能会超过预期，特别是当学习者需要学习不熟悉的设备或过程时。 实施后测 让学习者在后测试卷上签名，以便与前测和问卷比较 要学习者圈出所有不清楚的词汇，标记所有不清楚的知识、问题和答题要求。 让学习者尽其可能多答题，不管对答案是否确定，哪怕是猜测。不正确的猜测往往能够提供教学不适当的线索。你还可以要求他们指出哪个答案是猜出来的。 记录学习者完成后测所需要的时间。 对学习者进行态度问卷调查 你可以问以下的问题: 这个教学是否引起你的兴趣？ 教学是太长了还是太短了？ 教学是太难了还是太容易了？ 你对教学的那部分还有问题？ 动画和图示是否恰当，还是转移了注意力？ 所使用的色彩很吸引人还是使人分神？ 你最喜欢哪段？ 你最不喜欢哪段？ 如果你能修改教学，你会怎么修改？ 考试题是否测试了所呈现的内容？ 你是否喜欢其他的教学媒体？ 在学习者完成了所有工作之后，安排他们和你或他们的教员讨论对前测、教学和后测的想法。 你可以用预先计划好的问题使讨论按照某种结构进行 你可以问诸如：“你会修改第X节的练习吗？”或者“你喜欢第X节的例题吗？”这样的问题 参见一对一评价第IV部分对应用环境的形成性评价。你可以从参与小组评价的学习者中挑几个继续应用环境的形成性评价。 实地试验 从目标人群中挑选合适的样本 安排所选择的组去试验材料 保证参与评价的学习者人数满足要求，对于实地试验，一般建议是要有30个学习者。 保证所选择的学习者代表了目标人群的能力和技能分布。 保证试验有足够的人力、物力和设备 向学习者分发材料，如果有教师手册，也发给进行试验的教员 讨论教学，如果教学情景不是学习者所熟悉的，要说明这么做的特殊考虑 在实地试验的时候淡化个人的角色和作用 如前所述进行应用环境的形成性评估 整理你所收集的数据，产生对以下数据的报告： 前测中入门技能部分得分 所教技能在前测和后测中的得分 学习者完成每种考试所花费的时间 学习者完成教学所花费的时间 学习者的态度，以及参与评价的教员的态度 对所选择的材料和教师引导的教学所进行的形成性评价 对所选择的材料 除了按照对自学材料进行形成性评价的建议行事外，你还要确定以下内容是否合适： 教学策略的所有成分或者在所选择的材料中已经考虑了，或者打算由教员来提供 材料之间的衔接流畅 这些不同教学材料放在一起，内容和逻辑一致 学习者手册或者教员能够恰当地呈现教学目标 每种资源中的教学指示都是恰当的 必须由教师补充的教学策略成分也很合适 所有资源中所使用的词汇是合适的 所采用的图示和举例对目标人群合适 教师引导的教学 评价由教师传递的教学，一个主要考虑因素是教学中的交互部分。除了前面所提到的各种需要做出的考虑外，还有一些对这类教学评价的专门考虑： 教师是否很有说服力，很热心，能提供帮助，知识丰富 教师是否能够防止跑题，使教学和讨论专注相关的专题和时间表 教师讲课是否生动有趣、思路清楚？ 教师是否要使用粉笔黑板，而不是其他视觉辅助物来解释例题和图示 教师是否对学习者的问题提供了好的反馈？ 教师是否提供了合适的练习，并提供了合适的反馈答案？ 你要记录下来在教学中所发生的各种事情，这样你才能够研究这些事情是如何揭示教学效果的。 用于评价学习者对教学态度的量表 前面一章给出了考核学习者小组领导力技能的量表，但是没有给出态度问卷，一个好的形成性评价不仅要包括成就评价，也要包括态度评价。 表10.4为用来评价教学目标“引导问题解决小组讨论”的态度问卷。这个问卷计划在完成了第10节：在小组会议期间促进小组协作行为（目标6.1.1到目标6.5.1）之后进行。它有六个部分，四个部分根据科勒的ARCS模型，包括注意力、相关性、自信心和满意度，一部分是让学习者为教学的清晰度打分，最后一部分要求学习者就教学的优缺点从他们的角度谈谈看法。为了便于学习者回答，在问卷的左列给出了教学的不同方面名称，最后两行，称为“其他”，是让学习者对表格中没有罗列的其他教学方面进行评论。 在形成性评价期间，除了要评价教学之外，还要评价收集数据的量表，评判它们的清晰度和可用性。例如，如果有好几个同学就态度问卷的说明或其中的某道题提问，或者问卷中有些题目没有做答，那么就要审查与此相关的内容，看看其清晰度如何，是否需要修改。另外，如果量表中的某些部分不能产生出指明教学优缺点的信息，或者是对教学修改有用的信息，那么这部分内容也要修改，甚至删除。 对学校环境例子感兴趣的读者可以阅读附录J。 表10.4态度问卷（第十节，目标6.1.1到目标6.5.1，第6步：管理小组协作交流） 第10节：促进成员之间合作的行为 日期：  说明：请填写下面的问卷，对今天这一节促进成员之间合作行为的教学效果给予评价。这份问卷分为五个部分，左列列出的是教学内容，右边是评价等级，请根据你对该部分教学质量的看法，圈中对应的评价等级。在表格的最后，请对今天晚上教学的优点和不足谈谈您的看法。谢谢！  Ⅰ.注意力：这些教学活动在多大程度上引起了你的兴趣和注意？  教学内容 注意力级别（每个内容只选一个级别）  A. 阅读和分析NCW会议中有关下面内容的对话文字：   1．有助于协作交流的成员行为 没有兴趣 1 2 3 4 5 非常在意  2．领导者用来鼓励小组合作的策略 没有兴趣 1 2 3 4 5 非常在意  B .观看和分析NCW会议录像带中   3.有助于协作交流的成员行为 没有兴趣 1 2 3 4 5 非常在意  4. NCW领导人引发成员协作的行为 没有兴趣 1 2 3 4 5 非常在意  C.担任小组领导人   5. 在我的组引发成员协作行为 没有兴趣 1 2 3 4 5 非常在意  Ⅱ.相关性：你认为下面的技能在多大程度上能帮助你在NCW问题讨论中发挥引导作用。 相关程度  6．在会议过程中辨识出成员的协作行为 没关系 1 2 3 4 5 非常相关  7．在会议过程中引发成员协作行为 没关系 1 2 3 4 5 非常相关  Ⅲ.自信心：你有多大自信在NCW问题讨论中能有效地运用这些小组交流管理技能？ 自信程度  8．在会议过程中辨识出成员协作行为 没有自信 1 2 3 4 5 非常自信  9．在会议过程中引发成员协作行为 没有自信 1 2 3 4 5 非常自信  Ⅳ.清晰度：你认为下列教学材料和活动的清楚程度如何？ 清晰程度  10．本节引言 不清楚 1 2 3 4 5 很清楚  11．本节教学目标 不清楚 1 2 3 4 5 很清楚  12．NCW会议的对话文字 不清楚 1 2 3 4 5 很清楚  13．NCW会议录像带 不清楚 1 2 3 4 5 很清楚  14．我们自己担任小组领导人 不清楚 1 2 3 4 5 很清楚  15．进行领导力小组活动的指示说明 不清楚 1 2 3 4 5 很清楚  16．用于发现领导人正确行为的核查表 不清楚 1 2 3 4 5 很清楚  17．对成员和领导人正确行为练习的反馈 不清楚 1 2 3 4 5 很清楚  Ⅴ.满意度：总的来说，你对下面各项的满意度如何？ 满意程度  18.设施 不满意 1 2 3 4 5 非常满意  19.教员 不满意 1 2 3 4 5 非常满意  20.进度 不满意 1 2 3 4 5 非常满意  21.教学 不满意 1 2 3 4 5 非常满意  22.你自己，针对所学的新技能 不满意 1 2 3 4 5 非常满意  Ⅵ.请对这节教学的优缺点给予评论  优点 不足  引言   目标：   对话文字：   录像带：   交流领导力一节：   评价：   其它：    总结 进行教学材料形成性评价的目的是为了确定教学材料的有效性，修改其不足之处。不仅要对新开发的材料做形成性评价，也要对基于教学策略选择的现有材料进行形成性评价。不仅要对各种媒体类型的材料做形成性评价，也要对教师呈现的材料进行形成性评价。经过精心设计的评价所收集的数据可以指明教学中所存在的问题，并建议如何修改。 形成性评价的整个过程至少包括三次数据收集、分析和修改的循环，每次循环侧重质量的不同方面。第一个循环为一对一评价，目的是找出材料中的严重错误。这些错误主要涉及语言、概念和所使用的例子的清楚度，以及教学材料的五个学习成分的激励作用。评价可以由内容专家或熟悉目标学习者特点的人来实施，一对一评价必须使用目标人群的典型代表，并采用交谈方式，这样，评价人员不仅能够发现材料有什么问题，还能知道为什么。 第二个循环是小组评价，在修改了教学中的主要错误后进行，参与评价的学习者在8到20人之间，都是目标人群的代表，小组评价的目的是确定教学材料中还有哪些问题，以及管理过程还存在什么问题，教学策略的成分再次成为评价量表和评价过程设计的依据。在这个循环中，评价人员很少与学习者交谈，只是收集学习者表现和态度方面的数据，并在实验结束时深入倾听学习者的意见，由此获得质和量两方面的数据。 最后一个循环是实地试验，在经过了小组评价并对材料求精修改之后进行。这类评价的目的是为了发现材料在预期环境下使用时可能出现的问题，与前两个循环类似，评价量表和评价过程都是基于教学策略的五个成分。在这个阶段，不仅要设计量表收集学习者的表现和对教学的态度，也要收集管理方面的数据，诸如学习者完成材料的时间以及管理计划的可行性等等。在试验期间，评估人员不能进行影响或干扰从学习者或教员那里收集数据的过程，尽管观察材料使用过程会有助于对所收集数据的解释。 在形成性评价每个阶段结束之后，设计师都要考虑，当学习者回到可以运用教学中所学技能的环境后，是否还可以从学习者那里获得更进一步的数据，如发现学习者是否使用了所学技能，产生了什么影响，这些信息也可用于修改教学。 这章集中在形成性评价的设计和数据收集过程，下一章将介绍数据分析和基于数据对材料的修改。 练习 下面的练习基于第八章中第六步“管理小组合作交流”的教学分析和教学策略。目标对象还是有着不同知识和能力水平的邻里犯罪监控组织的领导人，对于每一类形成性评价（一对一评价、小组评价和实地试验），你都要根据评价的目的、教学性质和目标人群来确定要问的问题和要做的决定。 一对一评价 说明你会选几位NCW领导人进行小组协作交流教学内容的一对一评价，并逐一说明为什么要选此人参加一对一评价。 说明在一对一评价期间要注意采集的信息种类。 说明用于一对一评价的教学材料形态（打印的、粗略草稿、精装本，等等）。 小组评价 说明参与小组实验的学习者人数和能力水平。 说明你如何判断是否只需要一次小组评价。 描述你将用于小组评价的材料形态（完成程度、粗略草稿、精装本，等等）。 说明为了评价对于不同背景和水平的领导人所进行的“管理协调小组交流”教学，需要记录哪些信息。 实地试验 你为什么要实地试验教材？ 在实地试验期间你会收集哪些在小组评价阶段没有收集的信息？ 说明可以用来评价“管理小组协作交流”教学材料的样本组和教学环境。 你在实地试验中要试验哪些教学材料？ 应用环境的形成性评价 你是否打算做应用环境的形成性评价？如果打算做，准备为哪个阶段做，为什么？ 你将采用什么样的过程来进行应用环境的形成性评价？ 对所选教材的形成性评价和对教师授课的形成性评价 对所选材料或改编材料进行实地试验的过程，与对原创材料进行实地试验的过程有什么不同？ 说明对所选材料进行实地试验的过程，与对教师引导的教学进行实地试验的过程有什么不同？ 为向支票账户存钱那堂课所进行的小组评价和实地试验，开发学习者使用的态度问卷。 答案 一对一评价 选择参加一对一评价的学习者人数是随意的，学习者样本应该包括具有不同受教育背景和不同小组领导经历的学习者，在你所确定的学习者分类中每类至少要有一位学习者参与一对一评价。如果你发现教学对于那些没有领导经验的人不合适，那么你就需要修改教学，适应这些学习者的需要。还要选择具有高中学历的学习者，检查词汇量、阅读水平、教学进度、入门技能和样例、练习及答案的清晰度。高学历有领导经验的学习者也要包括，以确定： 哪些章节可以跳过去？ 例子是否清楚，练习是否有挑战性？ 练习和答案是否合适？ 在一对一评价期间你应该获得的信息类型如下： 开始的动机激励材料是否吸引学习者？ 教学目标是否清晰有趣，与学习者相关？ 教学中的哪些技能学习者已经具备了？ 教学材料在下列方面是否都适当： 词汇 教学步调 内容块大小 陈述的清晰度 例子的清晰度 内容和活动顺序合适性 练习的感兴趣程度 学习者完成的作业 反馈信息的清晰程度 动机 考试题的指示、用词、题文和答题要求对学习者来说是否清晰？ 材料的形态也是随意的，由教师决定。比如说，教这个教学目标的材料可以是活页形式的，上面有打印的教学指示和手绘的图解。每个新概念和学习者答卷纸都单独成一页，这样可以比较容易地改变顺序。将同一概念的教学内容和学生作业装订在一起的另一个好处是有助于发现解释不适当的概念、或者是令学习者糊涂的例子、图解和反馈信息。这些图解、图形或画像都应该是大体示意性的，因为无论你是用粘贴画还是艺术画，学习者关心的只是其中的“思想”。要鼓励学习者在材料上写写划划，圈出含糊的词汇，在内容不清楚的地方做上标记。参与评价的每个学习者都应该有一份材料，此外你还要多准备几本，用来汇总学习者的意见，进行修改之用。 小组评价 在每种受教育水平和领导力水平各取3-4个学习者，这样可以避免假设“在同一水平的学习者会做出同样的反应”这类错误，也使你有机会比较不同教育水平和不同经历的学习者所做出的反应。一般来说，至少要有8个学习者。 只做一次小组评价可能是不够的，可以根据以前评估的结果，看看要对材料做几类修改，改动量有多大，由此来判断要做几次小组评价。如果改动很少，而且你认为类似的学习者会有同样的反应，那么就没有必要继续小组评价。但是如果你基于前面的评价，对材料做了多处修改，那么你就还需要对材料的新版本再组织一次小组评价，因为有些改动是改进，有些却不是。 你所开发的材料应该具有适当程度的混合性，因为由媒体本身引起的问题在教学没有以那种媒体呈现之前是看不出来的。在教学前和教学后使用的考试卷也应该是完整的，采用最终要被使用的形式。如果可能，教师手册也要完整，并在这个时候接受测试，在进行实地试验前完成必要的修改。在实地试验阶段得到的信息要包括在教师手册中，还要评价教学的清晰度，给出使用教材的建议。 在小组评估之后，你需要为不同的组整理不同种类的信息： 将学习者样本分为没有受过领导力培训/没有领导力经验、受过一些培训/有一些经验，和受过正式的培训几类。 记录他们在前测上的反应 记录完成学期目标所需要的每种从属技能的得分 统计被圈为不清楚的词汇 统计被圈为不清楚地题目 统计被标记为不清楚的指示说明 纪录他们在教学包中的反应 统计那些标记为不清楚的解释、例子、图示、词汇和反馈信息。 纪录他们在后测上的反应 统计每个目标的答对数和答错数 统计标记为不清楚的题目 统计标记为不清楚的指示说明 统计标记为不清楚的答题要求 统计标记为不清楚的词汇 纪录前测、教学和后测活动所需要的时间 实地试验 对材料做实地试验是为了了解在某个特定条件下使用该材料时，材料对目标人群的有效性。实地试验要问的问题是：“这些材料在预定的学习环境下使用时对于所给用户是否可用？要不要做改进？”它可以用来决定在没有教员教学的情况下教学材料的教学效果，也可以辅助判断教材是否已经准备好了，可以实际使用了。在实地试验阶段，给学习者和给老师的材料、考试卷和教学都要接受检查。材料是否已经做了充分的修改，还要不要再修改？在这个时候所做的修改，或者是对材料本身的，或者是对使用材料提出建议。 你可能希望收集小组评价时所收集的同类信息，其它要收集的信息还包括学习者在以下方面的态度： 教学有趣吗？ 教学太容易了，太难了，还是正好？ 教学太快了、太慢了，还是正好？ 材料是否太简单了？是否太复杂了？ 你还可以了解教师对材料的态度信息，如该材料是否太简单了、太复杂了，还是正好，以及为什么教师会持这种观点。 对于引导小组协作交流的教学来说，其实地试验的人群应该是当前NCW的领导人或者是小区的负责人，具有高中以上学历和不同程度的领导经验，-----也许在该县当了20年的领导。当这些材料用在常规学习中心的条件下时，就可以提供实施层面的信息，包括态度和所需要的教学时间等。 所有开发的材料都要到实地实验中去评价，这包括所有打印的材料，基于web的材料、设备、考核方案和教师手册。 应用环境形成性评价 在完成了形成性评价三个阶段的任意一个阶段之后，你都可以选择做一次应用环境的形成性评价。也许从一对一评价后就开始做应用环境形成性评价是个明智之举，因为如果应用环境评价的结果导致了重大修改，那么就必须对所做的修改再进行几个阶段的评价。也有人认为应该在形成性评价后期进行应用环境评价，因为这样会有更多的学习者参与，可以返回多种设置下的信息。这确实会为设计师提供更多的信息，但那个时候时间所剩无几，没有时间做这件事了。 这堂课所学技能的应用环境是领导人召集的真实邻里会议，设计师应该在教学完成的几个星期或一个月后，去访谈学习者，看看他们是否在运用小组领导技能，有什么效果，遇到了什么问题。设计师还可以使用后测观察表来评价领导人管理实际会议的行为。在这个例子中，设计师应该向专家组或投资机构报告核实了教学的需求。他们还要审核教学产品，从他们的观点来看教学是否满足了他们所确定的需求。最后你还要评定接受过培训的领导人所在社区的NCW活动对邻里的影响。你需要考虑的变量有：（1）在过去的半年到一年内这些领导人所举行的NCW会议次数，（2）在这期间所实施的犯罪预防方案的数量和内容，（3）在此期间该地区居民与警察接触的次数和内容，（4）这些地区的实际犯罪趋势（按照类型增加还是减少），（5）NCW小组中活跃成员的数目，（6）社区可见的乱画数量的趋势，等等。 对所选材料和教师引导教学的形成性评价 对所选材料进行实地评价的过程与对原创材料进行实地试验的过程相比，两者的主要区别是在评价所选现有材料时教师会在场。这给教师提供了观察教材使用的机会，可以确定教学策略的不同成分是否适当。 在教师引导的教学中，教师在传递教学的过程中与学习者交流，教师控制了教学的练习和反馈成分，在评估所选材料的时候，教师的角色较为被动。 态度问卷 在小组评价和实地试验期间，都可以向学习者发放态度问卷。但是在一对一试验时，你所使用的问卷应该是访谈格式的，你可以在表上写下学习者的反应，一对一试验可以帮助你对态度问卷进行形成性评价，确定你所问的问题是否清楚。如果你得到了几个“我不知道”回答，那么就要重新表述问题，直到学习者理解了问题，并表达了自己的观点为止。在问卷上记录下你需要做的修改，以便所问的问题能够更加清楚。 在评估结束后征求意见的讨论中，态度问卷还可以用作访谈的指导。这将有助于你关注对材料中重要成分的评价。 表10.5 “向支票账户存钱”教学的态度问卷 “向支票账户存钱”一课的教学质量调查 班级: 日期： 说明: 我们需要您的协助来评估这堂课的质量。最左列给出了这堂课各组成部分的名字，现在要给每部分按质量打分，分值从1=差到5=好（圈出你认为最佳描述每部分质量的级别）。在最右列，写出你认为每部分可做的改进，以便它能够变得更加清楚、更加有趣，或者与你管理自己的支票账户时的需求更有关联。谢谢你，你的意见对我们来说十分重要。  课堂组成 质量分值 （在值上划圈） 清晰度、趣味性和相关性方面的修改建议  1．引言 差 1 2 3 4 5 好 清晰度： 趣味性： 相关性：  2．目标 差 1 2 3 4 5 好 清晰度： 趣味性： 相关性：  3．信息呈现（包括举例） 差 1 2 3 4 5 好 清晰度： 趣味性： 相关性：  4．练习活动 差 1 2 3 4 5 好 清晰度： 趣味性： 相关性：  5．反馈信息 差 1 2 3 4 5 好 清晰度： 趣味性： 相关性：  6．考核 差 1 2 3 4 5 好 清晰度： 趣味性： 相关性：  7．其他 差 1 2 3 4 5 好 清晰度： 趣味性： 相关性：  8．其他 差 1 2 3 4 5 好 清晰度： 趣味性： 相关性：   阅读 Cronbach, L.J.(1975). Course improvement through evalution. Reprinted in Payne, D.A., & McMorris, R.F.(Eds.), Education and Psychological Measurement. Morristown, NJ:General Learning Press,243-256. 这是一篇关于教学材料形成性评价需求的早期文章。 Dick, W.& Carey, L.M.(1991). Formative evaluation. 见Briggs,L.J., Gustafson,K.L., &Tillman,M.H.(主编) Instructional design: Principles and applications. Englewood cliffs, NJ: Educational Technology Publications. Dick, W., & King, D.(1994). Formative evaluation in the performance context. Performance and Instruction.33(9), 3-10. 讨论在工作场合的追踪评估。 Flagg,B.N.(1990). Formative evaluation for educational technologies. Hillsadale, NJ: Lawrence Erlabum Associates. 在开发复杂教学系统的时候应用形成性评估策略的例子。 Nathenson,M.B.,& Henderson,E.S.(1980). Using student feedback to improve learning materials. London:Croom Helm. 详细介绍了英国开放大学课程中运用形成性评价的情况。 Newby, T.J., Stepich, D.A., Lehman,J.D.,& Russell, J.D.(1996). Instructional technology for teaching and learning. Englewood Cliffs, NJ:Prentice-Hall, Inc. 学校环境下的教学设计，如何将计算机集成到教学过程中。 Performance and Instruction Journal,22(5),1983.形成性评价专刊。这一期有一些给设计师的文章，特别是：Wager,” One-to-One and Small Group Formative Evaluation”, Komoski, “Formative Evaluation”, Lowe,” Clinical Approach to Formative Evaluation”, and Golas, “Formative Evalutation Effectiveness and Cost.” Scott, R.O.,& Yelon, S.R.(1969). The student as a co-author—The first step in formative evaluation. Educational Technology, October,76-78.这是一篇较少见到的描述对学习者一对一形成性评估过程的文章 Scriven, M., Tyler,R., & Gagne,R.(1967). Perspectives of curriculum evaluation. AERA Monograph Series on Curriculum Evaluation. Chicago:Rand McNally.在这本专著中作者第一次区分了形成性评价和总结性评价。 Shambaugh,R.N., & Magliaro,S.G.(1997). Mastering the possibilities. Needham Heights, MA: Allyn & Bacon. Tessmer,M.(1993). Planning and conducting formative evaluation. London: Kogan Page Limited. 详细描述了形成性评价的主要阶段。 Tessmer,M.(1994). Formative evaluation alternatives. Performance Improvement Quarterly, 7(1),3-18 Thiagarajan,S.(1991). Formative evaluation In Performance Technology. Performance Improvement Quarterly, 4(2),22-34. 讨论了在实施6个月之后的后续评价过程。