系统化教学设计：chapt11

第十一章 修改教学材料
 目标 能说明整理形成性评价数据有几种方法 会整理从形成性评价研究中获得的数据 能够根据整理好的形成性评价数据，找出教学材料和教师引导教学所存在的不足之处 根据教学材料的形成性评价数据，能够发现教学材料中存在的问题，并提出修改建议 背景 几乎所有的教学设计模型都非常强调形成性评价的概念，即为发现问题、修改教学材料而收集数据。这些模型经常会指出在数据收集整理后，你需要“适当地”修改教学材料。尽管很多研究都谈到修订教学材料的好处，但是很少有理论提及如何为修改材料而收集数据。在我们的形成性评价方法中，我们是根据我们的教学策略来解释数据，然后依据数据以及对学习过程的理解对教学材料做出改动。 对于教学材料，一般有两类修改：一类是对内容或材料实体进行修改，使其作为一个学习工具更加准确、更加有效；第二类修改是修改使用材料的过程。 在这一章，我们将指出如何整理从各种形成性评价中获得的数据，如何使用它们确定教学材料中应该修改的部分。你会发现在教学设计过程的这一步并不需要做复杂的统计，对数据进行简单的描述性总结就够了。在形成性评价和修改阶段一般都不需要使用精心设计的统计试验。 概念 对形成性评价收集的数据有多种整理方法，这些方法有助于发现学习者学习的难点，确定教材需要修改的地方。这里介绍的方法只是一些建议，在你具体处理你的数据的时候，你还可以采用其他能够帮助你从数据中获取更多认识的方法和技术。我们先从一对一形成性评价所收集的数据开始，看看如何处理这些数据，然后再考虑小组评价和实地试验阶段。 分析一对一试验数据 设计师在一对一形成性评价中所获得的数据很少，因为只有从三、五个学习者那里获得的信息。由于选择学习者时有意识地考虑了他们之间的差异，所以学习者所提供的信息极有可能存在很大的分化，不象混在一组时的情况。换句话来说，设计师必须要注意学习者回答中的共性和不同，确定对教学的最佳修改。 设计师在一对一形成性评价阶段可以获得五类基本信息：学习者特点和入门技能，对教学的直接反应，学习时间，后测成绩。如果使用了态度问卷，还有对问卷的回答。 做数据分析的第一步是先描述参加一对一评价的学习者，以及他们在入门技能测试中的成绩。然后，设计师要把学习者对教学的所有评论和建议整理在一起。具体做法可以这样，取一本教学材料，在其上用不同的颜色笔标记出不同学习者所提出的问题；还可以在上面写上来自领域专家的意见，以及在一对一评价期间所采用的教学方法。 下一组要总结的数据与后测有关，首先获得每道题的得分，然后将每个目标相关题目得分求和得到每个目标的得分，最后得到总分。一般会做一张表，上面记录了每个学习者的前测成绩、后测成绩和学习所用时间。另外，还要分析学习者在后测中每个目标上的表现，并给予评论。如果在这个阶段的教学中使用了态度问卷，那么对态度问卷数据可以采用类似的办法处理。 在收集了上述所有信息之后，设计师就可以开始准备修改教学了。当然，在一对一评价完成之前，已经修改了一些明显错误，现在要做的是有些难度的修改，可以从学习者表现最差的地方，或者是评论最多的地方开始。 首先，根据学习者成绩看看评分标准或者考试题目有没有问题。如果有问题，就要做相应地修改，使之与教学的意图和教学目标一致。如果题目没有问题，学习者表现又很差，那么就必须修改教学了。你可以基于三类信息修改教学：学习者的建议、学习者的表现和你自己对教学的看法。学习者经常能给出很好的建议。另外，设计师也要仔细分析学习者所产生的错误，确定出错类型，以便做针对性的修改。你也要相信自己对于如何修改教学才能最有效的判断，因为你已经采用系统化设计过程，仔细说明了学习者要学什么，并给出了例题，还为学习者提供了练习每种技能的机会，学习者在练习过程中也得到了反馈，所有的基本成分都在那里了！这个阶段最常做的修改就是澄清概念，增删练习。这三类信息通常给出了应该采取的最适当的修改步骤。 但是有时候你可能真的不知道该怎么修改教学，这时候不妨就不作修改，看看在小组评价时这部分材料的工作情况如何；或者由设计师给出几种解决办法，在小组评价时逐一尝试。 分析小组评价和实地试验数据 小组形成性评价提供给设计师的是与一对一评价有些不同的数据汇总环境， 从8-20个学习者那里收集的数据要比单个人的数据更有意思，即这些数据可以反映出这个具有代表性的学习者小组所遇到的问题以及他们的回应。在此阶段可以获得的数据一般有：前测、后测中每道题目的得分、对态度问卷的回答、学习时间和考试时间，以及直接写在材料上的评论。 所有评测的基本分析单元为考试题，对每道题的表现都要判断对与错，如果一道题由几部分组成，则每一部分都要判分，并分别报告，以免丢失信息。之所以需要每道题的信息，有三个原因： 题目信息可以用来确定题目本身是否有问题，以及此题是否有效测量了对应目标中所描述的行为。在下一节我们将介绍有关的方法。 单个题目数据还可以用来确定学习者在教学中遇到的困难。例如，对于某道题目来说，知道有一半的人做错了固然重要，但是更为重要的是发现大多数人都选了多项选择题中的同一个错误选项，或者在做求解题目时都犯了同一类型的推理错误。 单个题目数据可以结合起来说明学习者在某个目标上的表现，以及最终在整个考试中的表现。有时候，判断一个目标通过与否是根据一组题目做对的百分率。根据与目标相关的每道题目的信息，不仅可以算出每个目标完成的正确率，还可以看出已掌握目标的学习者的个数和比例。 在收集了题目数据之后，可以将它们组织成题目-目标表进行分析，还可以在此基础上构造更加复杂的数据表。 小组的题目-目标表现分析 第一个需要构造的数据总结表是题目-目标表。表11.1为一个题目-目标表实例，这是一个有十道题的考试，评测了四个教学目标，对20个学习者进行小组形成性评价。 表11.1 题目-目标分析表 目标 1 2 3 4 题目 目标  题号 1 2 3 4 5 6 7 8 9 10 # % # %  学生1 ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ 8 100 4 100  学生2 ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ 8 100 4 100  学生3  ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ 7 88 3 75  学生4 ⅹ   ⅹ ⅹ ⅹ  ⅹ  ⅹ 4 50 0 0                  学生20 ⅹ ⅹ   ⅹ ⅹ ⅹ ⅹ   4 50 2 50  做对学生数# 18 19 15 17 17 6 18 18 10 9      做对学生百分率% 90 95 75 85 85 30 90 90 50 45      目标掌握百分率% 90 75 85 45      表中的统计数据是根据分析，剔除了第6题和第8题后所做的求和 注意：尽管这个分析组有20位学生，这里只给出了五位学生的数据 表的第一行列出了所有目标，第二行在每个目标之下列出了该目标对应的测试题题号，再下面的行记录了每个学习者的数据。每道题所在列上有一个ⅹ，就表示这道题这个学习者做对了，如果是空白，就表示这道题这个学习者做错了。 按这种方式显示数据后，我们可以用这个表来做两类分析：题目质量和学习者表现。你应该先分析题目质量，因为在分析学习者表现的时候不考虑有问题的题目。最下面几行是做题目分析时所需要的累加数据。其中第一行说明每道题答对学生数，第二行是每道题答对学生百分率，这是将答对学生人数除以学生总数计算出来的，如对于第一道题，18/20=.90，即90%。最后一行是这组学生掌握每个目标的百分率，这是将掌握每个目标的学生人数除以参加分析的学生总数得到的。在这个例子中，学习者必须答对了一个目标的所有题目，才算掌握了该目标。 题目-目标分析可以达到三个目的：确定对于这组人来说，每道题的难度、每个目标的难度，以及与各目标相关的题目在判定学习者在该目标上表现的一致性。 如果题目难度值超过80%，就说明这道题对于这组人来说相对容易；相反，如果难度值较低，就说明该题目较难。类似地，一个目标所有题目难度一致地高或一致地低也反映了该目标对这组人的难易程度，例如，表11.1中第一题和第二题的难度值（90和95）意味着几乎所有的学习者都掌握了与目标1相关的题目。如果这些数据来自于后测，那么我们就可以说目标1的教学是有效的，相反，如果它们的值很低，就说明这方面的教学可能要做修改。 在一个目标中题目难度的一致性反映了题目的质量。如果这些题目是测定同样技能的，题目本身又没有过难或不小心给出了解题线索，那么学习者在这组题上的表现应该是相对一致的。如果组比较小，差别在10%-20%可以认为差别不大，但是如果出现40%或更多的差别就要引起重视了。表11.1中目标1和目标2中各题的数据很一致，但目标3和4的数据就存在不协调的地方，比如目标3，其中有两道题很一致（85和90），另一道题，即第6题，难度很低（30）。出现这样的情况，一种原因可能是题目本身太复杂了，另一种可能是考了不同的技能。目标4中也有两道题数据一致（50和45），一道题有些出格（90），这也可能是第8题题目本身提供了解题思路，也可能是测试了别的技能。当发现一个目标中的题目数据存在不一致的差异时，就要重新审查这组题目，在用它们测定学习者行为之前必须进行修改。如果审查发现题目没有问题，则说明教学方面要做修改。 学习者的题目-目标表现分析 使用题目-目标表可以进行的第二类分析是分析每个学习者的表现。在做这类分析之前，你先要将题目分析中发现有问题的题目剔除。题目-目标表的最后四列是学习者个人表现数据，其中前两列是每个学习者正确答题数和答对百分率，后两列是每个学习者已掌握的目标数和已掌握目标的百分比。只有当答出了该目标的所有题目才算掌握了这个目标。 表11.1中所给的学习者数据显示这组学习者在测试中的表现差别很大。两个学习者掌握了所有四个目标，另外三个学习者的成绩从一个目标没掌握到掌握了75%。如果这些数据是对入门技能或教学中要教的技能的评测，那么这些数据可以告诉我们谁已经准备好了，可以接受教学了，谁并不真的需要这个教学。如果这些数据是后测成绩，那么设计师就可以据此推断是否需要修改教学。学习者在每道题上的表现和在每个目标上的表现各提供了不同的信息，对于形成性评价人员来说，有关目标掌握情况的数据比原始成绩更有信息量。 学习者考试表现比较分析 题目-目标表所提供的数据还可以用来创建其它的表格，如比较学习者在不同考试中的表现。表11.2解释了如何通过不同考试成绩的比较来了解学习者-目标掌握情况。这里只给出了参与分析的20名学生中5个同学的数据，在表的最下面是20个学生的数据总结。表的第一行是各个目标，第二行为考试名称，下面各行用来记录每个学生在每个考试中每个目标的掌握情况。表底最后两行是总结行，一行给出了20个学习者在每次考试中掌握每个目标的学习者比例，另一行给出了每个目标从前测到后测百分比的增量或减量。按理说，从前测到后测掌握每个目标的学习者百分比都应该上升，表11.2中的四个目标就是这样。 表11.2在前测和后测中学习者在各目标上的表现 目标 1 2 3 4  考试 PR PS PR PS PR PS PR PS  学习者1  ⅹ  ⅹ ⅹ ⅹ ⅹ ⅹ  学习者2  ⅹ  ⅹ  ⅹ  ⅹ  学习者3 ⅹ ⅹ  ⅹ ⅹ ⅹ  ⅹ  学习者4  ⅹ  ⅹ  ⅹ  ⅹ  //          学习者20  ⅹ  ⅹ ⅹ ⅹ  ⅹ  掌握% 20 100 10 100 50 100 40 60  区别 80 90 50 20  注：PR = 前测，PS = 后测，ⅹ= 掌握 表中只显示了20个学生中5位学生的数据，但是总结百分比是根据全组数据得出的。 你可能还想根据学习者每次考试已掌握目标百分比来比较其在每次考试的表现，这样的数据汇总可参见表11.3，其第一行是考试名称和每一次考试所测试的目标数，下面的行是每次考试每个学习者所掌握目标的百分比。最下面一行是每次考试这组学习者掌握目标百分比的平均值。从这些数据，设计师可以得出如下推论：1）所选择的这组人适合做评价研究，2）教学所教的内容是该组人以前没有掌握的，3）教学对于提高学习者技能有效果。 表11.3对入门技能、前测和后测数据的总结（按照所有目标的通过率） 学习者编号 3 入门技能目标 9 前测教学目标 9 后测目标  1 100 11 89  2 100 22 89  3 100 22 89  4 100 11 100  //     20 67 0 67  平均值 92 14 88  注：平均值是基于分析组中所有20位学生的成绩计算的，尽管表中只给出了五个学生的数据。 图示学习者的表现情况 显示数据的另一种方式是使用各种图形技术。一张图就可以展示在形成性评价研究中每个目标在前测和后测中的完成情况，你还可以在图上标记出完成教学材料所需要的时间，以及前测和后测的用时。图11.1中显示的是一个前测/后测成绩图。
图11.1前测/后测成绩比较图
 图11.2 使用了教学分析结构的前测/后测成绩比较图 另外一种用于总结形成性评价数据的图形技术使用了教学分析图，这个过程需要计算参与形成性评价的学习者在教学分析图中所标示的每个技能上前测及后测的平均成绩。设计师复制了教学分析图，但是图上不必出现技能名，图11.2就是这样的一个例子，每个目标的前测和后测成绩分别填入对应的方框中。教材中不同技能得分的相关性也因此得以呈现，很明显，越接近层次结构的上方，学习者的成绩就越低。你可能还发现了一个只有少部分学习者掌握的技能，它对后面的上位技能的掌握几乎没有产生什么影响。 其它类型的数据 除了学习者在每个目标上的表现之外，还有一些其他种类的数据需要整理和分析。人们已经发现整理态度问卷数据的最好方法是在一个空白问卷上统计每道题每个选项有多少学生选择，如果你还想从学习者那里获得一般性的开放意见，那么你就必须总结每个问题。 另外一类重要的数据是学习者、参加形成性评价的教员和看过教材的领域专家所给出的评论。在实施环境下做形成性评价所收集到的这些数据和信息可以用描述方式整理，因为不太可能用表格或图形方式来总结这些评论。最好将这些评论与所评论的教学材料，或者材料中的教学目标建立联系，如将这些评论直接写在同一份教学材料上。 最后一类要整理的数据与你在做小组评价或实地试验时所采用的方法有关。这些数据可以是某些考试题的成绩，对态度问卷的回答，或者是对整个学习时间的指示。 审查数据的顺序 在你准备对数据进行总结的时候，先要快速地对教学材料的有效性有一个全面概括的认识，对需要进行的修改范围有个基本的估计。在概括地审查完数据之后，建议采用如下的顺序使用数据： 入门技能 首先，在剔除了与有缺陷的题目相关的数据之后，对于剩下的数据，你先要审查它们与学习者入门技能的关系。参加形成性评价的学习者是否具有你所希望的入门技能？如果具备，是否通过了教学材料的学习？如果不具备入门技能也通过了教学材料的学习，那么你就需要质疑所确定的入门技能是否合适。 前测和后测 第二步是审查在教学分析图表上标记的前测和后测数据。如果你的教学顺序安排适当，各技能的层次依赖关系分析正确，那么从图表上来看，学习者的成绩应随着技能层次的上升而下降，也就是说，学习者在学期目标上的得分最低，而刚开始的技能成绩会好一些。当然，如果教学有效的话，处于教学分析最顶端的技能成绩也不会下降。这些数据可以帮助你精确确定哪里有问题，甚至还可以建议修改某些技能的教学顺序。 第三步是审查前测成绩，确定每个学习者，以及这组学习者作为一个整体，对你要教的技能已经掌握的程度，如果他们已经具备了大部分技能，那么对他们而做的形成性评价不会对教学是否有效、应该如何改进提供多少有用的信息，但是如果他们缺乏这些技能，那么你对后面的分析就会更有信心。 在审查教学分析图表时通过一个目标一个目标地比较前测和后测的成绩，你已经了解了学习者在每个目标上的表现，可以开始将注意力转向看上去需要修改的具体目标及相关的教学了。 在确定了学习者表现不佳的目标后，还要重新审查该目标的表述和相关的考题，以及学习者对题目的回答。在修改教学材料之前，要先查查题目分析表，看看是不是因为题目没出好，而不是教材不佳，导致了学习者表现不良。如果是这样，只要修改题目就行了，不必对教学材料做大变动。 教学策略 下一步是审查学习者感到有困难的教学目标所采用的教学策略。所计划的教学策略是否运用在教学材料中了？是否还有其它可用策略？最后一步是审查教学材料，根据学习者、教员和领域专家所提出的意见，看看那些被指出有问题的地方是否需要修改。 学习时间 形成性评价所关注的另一个重要问题是要了解学习者学完教学材料所需要的时间。你可能需要修改教材，以便它能够在规定时间内完成。这项工作相当困难，必须小心从事。对于一个具体的教学材料来说，学得慢的学习者可能比学得快的学习者要多花两三倍的时间，这种事情并不罕见。知道从材料中删除什么、改变什么而不影响学习是很困难的，只能对目标学习者进行不断地试验，修改，再试验，再修改，多次反复，最后才能做出决定。 教学过程 与教学材料实施过程有关的数据也要纪录。前面我们已经建议要收集引起媒体设备误操作的误导信息。此外，还要记录教室里被中断的教学，延长的午餐时间，以及其他一些在各种教学环境都可能发生的活动。因为这些中断和活动是无法控制的，所以必须记录下来并做出解释。 另一方面，也还有一些过程问题是可以被控制的，比如学习者是否由于这个材料所要求的环境条件而受阻？对于如何从这一步进行到下一步有没有什么问题？是否能及时得知考试成绩？这类实施过程问题经常可以在问卷和听取意见的讨论中被发现。必须要找到解决这类问题的办法，将它们写入教材或教师手册，以便教学活动能进展得更为顺畅。 修改过程 我们建议在你开始修改教学过程的时候，一定要采用本章所介绍的方法整理数据。我们知道设计师的需求会因为所处理材料类型的不同而不一样，但是这里所介绍的方法几乎适用于各种教学设计。例如，假设你教的是心智运动技能，后测表现会纪录在某种评分表上，总分纪录在教学分析图表上。对于从属技能和从属知识可能还要提供卷面考试，这些分数应该与它们相关的运动技能一起分析。对态度答卷和学习时间的使用对各种教学类型来说也都是类似的。 根据从小组评价或实地试验收集来的所有数据，设计师必须要做出决定，如何进行修改。哪里有问题常常是很明显的，但是应该怎么修改却并不总是很明显。如果形成性评价中还包含了对几种方法的比较，那么结果中就必须指出需要做的是哪类修改。另外，在一对一评价之后修改教学时所提出的策略也可以用在这里，即基于数据、你的经验和学习理论进行修改。 一个警告：要防止快速地对单一数据做出判断，而无论这个数据是学习者在某个目标上的成绩、学习者的建议，还是领域专家的观察结果。虽然这些数据都是有价值的信息片断，但是你必须要将这些数据与其它数据结合起来考虑，不仅要找成绩数据，还要看观察数据，这才能帮助你确定教材的缺陷。 另外一个建议：在整理实地试验数据的时候，要特别注意以清楚和准确的方式进行总结。你会发现这些数据不仅你作为设计师会对此感兴趣，而且可以作为有效的工具向他人展示学习者使用你的教学的表现。这些表格和图形既提供了学习者整体表现的概括信息，也提供了学习者整体表现的细节描述。 修改所选的材料和教师引导的教学 前面所介绍的数据汇总和修改过程对于教师所开发的原始教学材料，或者挑选的其他材料，或者使用教师手册所进行的教学都一样适用。所收集的数据类型、整理数据的方法、以及指导修改过程的方式也都类似。但是如果使用的是挑选的材料，那么就很少有机会直接修改材料，特别地如果这些材料是正式出版物，有版权保护的，就更不可能对其修改。在这种情况下，教师可以为未来的试验做如下的调整：（1）跳过一些教学内容，（2）包括一些其它可及的材料，或（3）开发补充教学材料。使用材料的过程也要根据形成性评价的数据重新考虑。 使用教师手册的教师与教学的开发者一样，可以灵活修改教学。前测和后测数据，再加上态度问卷，提供了彻底分析教学所需要的全部数据。另外还需要准备一个总结表，记录每个目标上学习者的成绩。先计算学习者在每道题每个目标上的表现，然后将学习者在各目标上的表现与教学分析流图联系起来。 教师手册中写给教师的内容还要包含由学习者提出的问题以及对这些问题的回答。对于学习者所提出的问题要审查其是否有基本的理解错误，对所提供的回答要考虑其是否足以让学习者此后能正确解答相关的考试题。 使用教师手册的教师也会碰到考试成绩分布很开、态度问卷反馈不佳的情况。研究数据表明，像这种按小组步调的交流式教学，在有限的课堂时间内，一些学习者可能对概念的接受能力不如其它学习者，因为小组教学没有补救措施，所以几次课后，这些学习者的学习进度就会落后，成绩也会变差，他们的态度就是这种境况的反应。在这种交流式、小组教学模式中，学习者的成绩一般呈正态分布（即高分低分都少，大多数分数处于平均值）。 对于使用交流教学方法的教师来说，发现表现不佳的学习者，插入适当的教学活动是修改教学过程的重要步骤。与使用写好的教学材料不同，这些老师可以在教学实施过程中不断地修改内容呈现，并注明修改的原因。 最后还有一点要注意，我们一再强调你是在用系统化的方法建立教学系统，当你改变了系统中的一个成分时，你就在改变整个系统。因此，你必须知道，在修改过程中做改动时，你不能保证其它没改的教学还能保持其原有的有效性。你希望你的改动会带来更好的结果，但并不能保证总是如此。 示例 这一节将使用“引导小组讨论”教学目的的数据，解释在形成性评价活动中整理和分析数据的技术。这节的例子阐述了可用于对教学材料和教学过程进行小组评价或实地试验的过程。当然，你实际所采用的图表类型和整理过程会根据你的教学材料、考试种类、教学环境和学习者而做调整。这些例子只是示范了可用在小组领导力单元整理所收集数据的几种方法。 还记得吗，在对实际环境的学习者（NCW现在领导人和警署支持人员）访谈之后，就确定了对这些成人学习者的评测办法。由于学习者都很爱面子，所以前测不会考他们言语信息或领导力绩效目标，而是要他们辨识在一个模拟NCW会议上他人所展示的领导技能。另外一个决定是在前测和练习中都不追究个人行为，只是在后测时要判断个人表现，因为这些构成了实际小组领导力。因为不追究个人行为，所以不会比较个人在不同考试中的表现，而是只观察整个小组的表现，看教学是否有效。 在这个例子中，收集了20个学习者在教学的实地试验阶段的形成性评价数据，呈现了对目标6.4.2和6.5.1所给出的12种促进或抑制小组合作的领导行为的评测数据，这两个目标中都包含着同样的12种动作。在前测时，学习者观看模拟的NCW会议的录像带，每当其中的领导人出现了12种促进或抑制动作之一时（目标6.4.2），学习者就在观察表上做一记号。有关目标6.4.2的评测数据在学习者参与教学活动时也会收集。后测数据只收集学习者在模拟NCW会议时所展示的小组领导行为（目标6.5.1）。态度数据可以使用问卷或在第10节结束的时候通过讨论来收集。 各次考试题目-目标数据分析 表11.4中给出了学习者在目标6.4.2前测中的答题情况。这个目标包含12种行为，可以采用客观题考试中对目标考题分析的方式进行数据汇总，表的上部罗列了12种促进和抑制行为，20个学习者列在表的最左列。对于任何一个考试来说，进行成绩分析的第一步都是确定评分标准。如果你进行的是客观题考试，分数相对容易统计，只要数数做对的题就行了。然而，要对行为表现现场打分，还需要事先做好计划（参见表9.5的前测）。 我们对前测的评分规则定义如下。在模拟会议上每种促进和抑制行为都会出现三次，学习者只要识别了一次，就可以记分，所以写出现2次、3次或4次的也一样可以记分。记分的做法是在表11.4学习者-行为对应单元格上打一ⅹ。每个行为判断正确得一分，所以总分为12分。所谓一个行为判断正确，是指学习者不仅要正确识别促进行为，也要能正确识别抑制行为。例如，学习者正确识别了行为3的促进行为，但是没有识别出行为3的抑制行为，那么在行为3上就不能得分。表11.4中带阴影的一对对单元格表示学习者在此行动上得分了。 总结列（最右列每个学习者的得分）是统计每个学习者所在行中带阴影的行为对的个数而得到的，表底还有两个总结行，第一行是每个学习者正确识别每个促进行为或每个抑制行为的百分率，最后一行是这组学习者正确识别每个行为对的百分率。 如此整理了前测数据后，就可以开始做分析和解释了。首先，看看每个学习者的成绩（最右列），这组学习者的小组领导能力是否象预想的那样很分化？根据前测成绩，你可以很肯定地确定这一点。考试的满分是12分，他们的成绩从11分到0分都有，其中3个学习者得分超过9分（75%），4个学习者得分在6-8分之间，4个学习者得分为4-5分，还有9个学习者，即将近一半的人，得分低于3分（25%）。 下一步是审查小组在每个行为上的表现（最后一行）。前测数据可以回答的问题如：“学习者是否需要这个教学？”或“学习者是否已经具备了这些技能？”。因为每对技能的小组识别正确率在10%到55%，根据这些数据，你可以确定，除了学习者1可能是个例外外，这种旨在增进小组协作交流的教学是很需要的。另外，你可能还想比较学习者对促进行为和抑制行为的识别能力（倒数第二行），可以发现学习者能较好地识别所示范的促进行为，事实上，只有技能5的抑制行为识别率较高，该行为是：“将说话权交给插话的成员，而不是与这个打断你说话的人讨论。” 在这个教学中，目标6.4.2并没有包含在后测中，这是因为后测要求学习者在引导小组讨论时展示12种促进行为，而不能出现抑制行为。我们将学习者在目标6.4.2的前测成绩与他们在教学过程中所做的练习表现进行比较，尽管通常并不这么做，但是因为我们再也没有其它可以用来与前测成绩比较的数据了，也只能如此。这个比较也能让我们大概地看出从目标6.1.1到目标6.4.2教学的效果。虽然学习者的练习表现通常认为只是暂时的，但也能看出自前测后的些许进步和变化。学习者在参与练习中所使用的观察表的评分规则同前测一样，这也使得比较成为可能。领导者所展示的鼓励（+）和抑制（-）行为   1 2 3 4 5 6 7 8 9 10 11 12   学习者 + - + - + - + - + - + - + - + - + - + - + - + - 总分  1 ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ  11  2 ⅹ ⅹ ⅹ ⅹ ⅹ  ⅹ ⅹ ⅹ ⅹ ⅹ  ⅹ ⅹ ⅹ    ⅹ ⅹ ⅹ ⅹ ⅹ  7  3 ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ  ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ  ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ  ⅹ  8  4 ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ    ⅹ ⅹ ⅹ ⅹ  ⅹ  ⅹ  ⅹ ⅹ  ⅹ 6  5 ⅹ ⅹ ⅹ  ⅹ     ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ      ⅹ ⅹ ⅹ  5  6 ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ  ⅹ ⅹ   ⅹ    ⅹ ⅹ     ⅹ  5  7 ⅹ ⅹ   ⅹ      ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ   ⅹ ⅹ ⅹ ⅹ ⅹ  6  8 ⅹ  ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ  ⅹ ⅹ    ⅹ      ⅹ ⅹ   4  9 ⅹ    ⅹ        ⅹ ⅹ      ⅹ ⅹ ⅹ   2  10  ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ  ⅹ  ⅹ ⅹ ⅹ  ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ 9  11          ⅹ    ⅹ     ⅹ  ⅹ    0  12 ⅹ ⅹ ⅹ ⅹ ⅹ        ⅹ       ⅹ     2  13   ⅹ ⅹ ⅹ ⅹ  ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ     ⅹ  ⅹ ⅹ ⅹ ⅹ 9  14 ⅹ ⅹ ⅹ         ⅹ ⅹ      ⅹ  ⅹ ⅹ   2  15             ⅹ ⅹ ⅹ ⅹ ⅹ  ⅹ  ⅹ    2  16 ⅹ  ⅹ ⅹ ⅹ ⅹ     ⅹ ⅹ  ⅹ       ⅹ  ⅹ  3  17 ⅹ  ⅹ ⅹ ⅹ ⅹ ⅹ      ⅹ      ⅹ ⅹ  ⅹ ⅹ  3  18     ⅹ     ⅹ  ⅹ ⅹ   ⅹ     ⅹ    0  19 ⅹ   ⅹ ⅹ ⅹ    ⅹ       ⅹ  ⅹ      1  20   ⅹ  ⅹ ⅹ     ⅹ ⅹ ⅹ ⅹ ⅹ  ⅹ  ⅹ ⅹ ⅹ ⅹ ⅹ  5  * 70 50 70 60 85 55 40 30 30 50 50 55 80 60 50 35 45 25 70 50 80 60 55 15   ** 45 55 55 25 25 40 50 25 25 40 55 10   *能正确识别每种促进行为（+）或抑制行为（-）的学习者百分比 **既能正确识别一个技能的促进行为也能识别其抑制行为的学习者百分比 各次考试数据汇总和分析 图11.3显示的是学习者对目标6.4.2和6.5.1的完成情况，图表的纵坐标用来标识这20个学习者中掌握每种行为的百分比，横坐标是这12种行为，从这张图上，你可以看出教授促进行为的教学效果，以及学习者学习掌握的情况。
图11.3 在前测和后测中识别12种促进或抑制讨论的领导人行为的百分比（目标6.4.2）以及在引导小组讨论时展示鼓励行为的百分比（仅是目标6.5.1的后测数据） 这张图的最下面一条折线表示的是学习者在目标6.4.2的前测结果，即表11.4最后一行数值的图形表示；最上面一条折线是学习者在教学练习活动中各项技能的完成情况，这项练习活动是在学完了目标6.1.1到6.4.2之后进行的，可以看出，在教学的这个阶段，所有这12种领导行为的正确识别率都在80%以上。这么高的辨识率显示了学习者自前测以来的进步，说明教学有效地帮助学习者建立了对这些促进行为和抑制行为的辨识能力。 在第10节结束的时候，要对学习者进行后测，要求他们展示这12种行为，中间那条折线就是后测成绩分析结果。如果设定教学有效的标准为80%的学习者能够正确演示该行为，那么你可以看到教学对这12种行为中的8个是有效的，但是对下面这四种促进行为不太有效： #4 保持发言人发言间的停顿和暂时的冷场，而不是用自己的观点去填补这段宁静（75%） #5愿意将说话权交给打断说话的人，而不是继续说，或打断别人说话。（65%） #8 用点评维持小组讨论，而不是按照领导人意思讨论（如，评价发言人的观点）（70%） #12 肯定小组的努力和成果，而不是只表扬某些个人（50%） 注意这个数据也表明这些学习者对这12种行为的识别能力要强于对这12种行为的展示能力，这个差异与教学目的分析中这两种技能的层次排序也是一致的。 态度数据总结 在第10节结束的时候，学习者需要填写表10.4所示的态度问卷。问卷数据的整理是这样的：对于每个问题，将所有学习者（20人）的评定级加起来，除以20，得到平均数，再四舍五入，算作该问题平均评价值。每个问题还要确定评级范围（即每个问题的最高值和最低值）。 将上述数据记录在一张空白问卷上，就形成了表11.5，其中每道题的平均值上画了一个圈，最低和最高评定级数字带下划线。这时候还要标示出有问题的题目，我们将平均评定值(x)小于或等于3的题目视作有问题的，在评定级后用*号标记。 第10节：促进成员之间合作的行为 日期：  说明：请填写下面的问卷，对今天这一节促进成员之间合作行为的教学效果给予评价。这份问卷分为五个部分，左列列出的是教学内容，右边是评价等级，请根据你对该部分教学质量的评价，圈中对应的评价等级。在表格的最后，请对今天晚上教学的优点和不足谈谈您的看法。谢谢！  Ⅰ.注意力：这些教学活动在多大程度上引起了你的兴趣和注意？  教学内容 注意力级别（每个内容只选一个级别）  A.阅读和分析NCW会议中有关下面内容的对话文字   1．有助于协作交流的成员行为 没有兴趣 1 2 3 ( 5 很有兴趣  2．领导者用来鼓励小组合作的策略 没有兴趣 1 2 3 ( 5 很有兴趣  B.观看和分析NCW会议录像带中   3.有助于协作交流的成员行为 没有兴趣 1 2 3 4 ( 很有兴趣  4.NCW领导人引发成员协作的行为 没有兴趣 1 2 3 4 ( 很有兴趣  C.担任小组领导人   5.在我的组引发成员协作行为 没有兴趣 1 2 3 4 ( 很有兴趣  Ⅱ. 相关性：你认为下面的技能在多大程度上能帮助你在NCW问题讨论中发挥引导作用。 相关程度  6．在会议过程中辨识出成员协作行为 没关系 1 2 3 4 ( 非常相关  7．在会议过程中引发成员协作行为 没关系 1 2 3 4 ( 非常相关  Ⅲ.自信心：你有多大自信在NCW问题讨论中能有效地运用这些小组交流管理技能？ 自信程度  8．在会议过程中辨识出成员协作行为 没有自信 1 2 3 ( 5 非常自信  9．在会议过程中引发成员协作行为 没有自信 1 2 ( 4 5 非常自信*  Ⅳ.清晰度：你认为下列教学材料和活动表述是否清楚简明？ 清晰程度  10．本节引言 不清楚 1 2 3 ( 5 很清楚  11．本节目标 不清楚 1 2 3 4 ( 很清楚  12．NCW会议的对话文字 不清楚 1 2 3 ( 5 很清楚  13．NCW会议录像带 不清楚 1 ( 3 4 5 很清楚*  14．我们自己作为小组领导人的行事说明 不清楚 1 2 3 4 ( 很清楚  15．小组领导力活动的指示说明 不清楚 1 2 3 ( 5 很清楚  16．用于发现正确领导行为的核查表 不清楚 1 2 3 ( 5 很清楚  17．对正确的成员行为和领导行为练习的反馈 不清楚 1 2 3 ( 5 很清楚  Ⅴ.满意度：总的来说，你对下面各项满意度如何？ 满意程度  18.设施 不满意 1 2 3 4 ( 非常满意  19.教员 不满意 1 2 3 ( 5 非常满意  20.教学步调 不满意 1 2 ( 4 5 非常满意*  21.教学 不满意 1 2 3 ( 5 非常满意  22.你自己，对新学的技能 不满意 1 2 ( 4 5 非常满意*  Ⅵ.请对这节教学的优缺点给予评论  优点 不足  引言 很好，有趣  需要准备一些食品  目标： 很好；清楚； 喜欢提纲格式；容易跟进   对话文字： 容易跟进；容易发现行为；主题相关   录像带： 主题相关；有趣的新组 进展太快；填观察表的时候希望能够暂停播放；需要帮助  交流领导力一节： 问题域不错；与我们会议的主题相关 太快了，时间不够进入领导者角色； 一些人不严肃  评价： 核查表不错；考试形式也不错，与平常教学所用类似  录像带太快，会错过一些细节；有些灰心  其它： 希望能运用这些技能组织高质量团队 一些抑制行为与做人礼貌冲突（如应该对发言人的观点进行评论，以表示关注和理解）  从学习者对他们自己在教学期间注意力的感觉来看，他们在所有的活动中都很专心，认为所有目标与他们作为NCW领导人的新职位都很有关系（x>4）。再看自信心方面的问题，你可以发现从最低值到最高值的评定区间拉大了，实际运用这些行动的信心平均值降为3。在清晰度方面，所有教学环节都被判为满意，除了NCW会议的录像带。在整体满意度方面，主要问题出现在教学步调和自我满意度。 我们还发现有四个问题的平均值处于不满意等级，这表明以下教学部分存在潜在问题： #9．有信心在会议过程中引发小组协作行为 #13．NCW会议录像带 #20．教学步调 #22．对你自己新技能水平的满意度 这四个问题可能是相关的，例如，问题9和22，自信心和自我满意度，是相关的，它们也可能与所报告的步调问题和录像带问题有关。 学习者的开放性评论为这些议题提供了更多的信息。每个学习者的评论都被进行了内容分析，将类似的评论放在一起。表11.5的问卷表中对学习者所讨论的问题给予了总结。关于录像带问题，学习者们认为所拍摄的会议进展太快，来不及仔细观察；他们也不可能边看录像边填观察表。他们还谈到在交流会议时没有足够的时间让他们练习领导技能；最后的几条意见是说对几个抑制协作的行为有看法，认为与礼貌交谈的礼节相违背。在随后的访谈中，我们发现学习者认为对别人提出的新观点进行评论是有礼貌的表现，这是向发言人表明别人在听，而且能听懂。对礼貌礼节与领导人抑制交流行为所存在的认识差异，也许可以用来解释为什么学习者在后测时，在行为4、5、8和12上表现不佳。一般来说这样的行为都被认为是不礼貌的：在交谈时有大段的冷场（#4），打断别人说话（#5），对别人的观点未置可否（#8），不夸奖别人的观点和贡献（#12）。在小组中促进协作的行为与礼貌礼节的区别在教学中也应该直接说明。 决定如何修改教学 仅仅根据对整个教学单元某个片断的评价就做出对教学材料所需要的最终修改决定是不成熟的。在做实际改动之前，还要对其它几堂课进行现场测试和分析。虽然修改应该基于整个单元的有效性分析，但是我们可以使用第10节所收集的数据设计一个如表11.6所示的教学修改分析表。这个表有四个部分，最左列为要评价的教学策略成分，中间两列为发现的问题和可以做的修改，最后一列包含为什么要修改的证据及证据来源。这些来源包括：1）考试数据和对学生使用材料的观察；2）学习者在教材中所做的标记和注释；3）来自态度问卷的信息。通过审查材料修改说明，你还可以看出前面的题目分析表对每道题目进行分析的价值。 一定要记住：你对材料所做的修改可能会产生预想不到的结果，如果做了额外的改变，如为处于平均水平以下的学习者增加了原先视为预备技能的教学，平均水平以上的学习者可以选修，那么你就要考虑再做一次实地试验，看看这些变化是否产生了预想的效果。 对学校案例有兴趣的读者可以参看附录K。 表11.6 教学修改分析表 教学策略成分 问题 所提出的要做的教学修改 证据和数据源  动机，导引材料 无 无 学习者报告说能引起注意，目的清楚，与教学相关（态度问卷和访谈）  前测 会议录像太快，学习者难以同时观看会议，并填观察表 增加指示说明，在学习者填观察表的时候暂停录像播放 这些评论来自态度问卷，教员评语和访谈  信息呈现 技能4、5、8、12表现不佳 认为抑制行为与传统礼节冲突 增加对这些行为的例子和解释 直接说明促进小组协作的领导力行为与传统礼节的区别，说出这些差异，解释这么做的目的 信息来源于： *这些技能的后测分数 *态度问卷 *访谈  学习者参与 （6.4.2）会议录像太快了，学习者不能同时观看会议，并填观察表 增加指示说明，在学习者填观察表的时候暂停录像播放 态度问卷  后测 每个学习者表现的时间不够 将完成单人表现活动的学习者分组，做得好的在一起，新手在一起 态度问卷  态度问卷 无 无 问卷确实发现了教学中存在的问题，得到了一些解释，所获得的信息与后测数据、访谈和教师评论一致。   总结 为了确定教学材料中存在的问题，需要对形成性评价所收集的数据进行综合分析。你要整理的数据包括学习者在教学材料上所做的标记、学习者在前测和后测的成绩、态度问卷的答卷、讨论时的议论和在现场环境所收集的信息。一旦你收集了所有这些数据，你就可以开始进行如下的分析了： 审查与入门技能相关的数据，由此推论目标人群所具备的入门技能情况。 对前测和后测成绩分别按教学目标和总分进行分析，在教学分析图上标出每个目标的前测和后测的平均成绩，并分析试验组在每道题和每个目标上的表现。你还可以将从入门技能题目获得的数据与前测和后测的数据进行比较。 对于那些学习者表现未能达到你的要求的目标，分析其目标表述、考题和教学策略。一定要在对教学材料改动之前，仔细分析目标的表述、考试题目、词汇、教学顺序和教学策略。 审查教学过程和实施指示，以及教学所需要的设备，这些也可能需要改变 做一个教学材料修改分析表，其中要说明存在的问题，要做的修改，证明修改必要性的证据，以及这些所引用证据的来源。 根据你在材料修改分析表中的建议修改教学，对于那些还需要其它课现场试验数据的修改可以延缓进行。 这些数据的综合分析活动在一对一评价、小组评价和实地试验之后都要进行。如果你是在实地试验之后才对教学材料做较大的改动的，那么建议你之后还要再做一次试验，以检验修改的有效性。 教材的最终修改版应该能有效地将所希望的教学带给目标人群。定稿之后，就可以开始批量生产或印刷这些有效的教学材料了。 练习 你根据什么数据可以知道目标人群中的学习者是否已具备教学分析中确定的入门技能？又如何知道教学是否受你所确定的这些入门技能的影响？ 你应该在什么时候为预备技能开发教学？ 为了收集信息以准确地了解学习者在教学中所遇到的困难，你应该设计哪种类型的数据表？ 为什么你要对每次考试所发现的问题进行叙述性解释？ 为什么你要总结从预测到后测各教学目标上的学生表现？ 使用态度问卷可以评价哪些材料？ 教学修改分析表中要包含哪些数据？ 表11.7为一个不完全的五个学习者的题目-目标分析表，使用这些原始数据做以下计算： 每个学习者的得分 每个学习者的做题正确率 每个学习者通过的目标数 每道题做对的学习者人数 每道题做对的学习者比例 每个目标通过的学习者比例 图11.4是对支票帐户前测和后测考试中的题目按目标统计的学习者答对率，基于图中数据回答以下问题： 学习者是否需要对所有技能的教学？ 在学习之前学习者已经具备了什么技能？ 基于前测和后测数据，哪个技能的教学效果最好？ 除了那些学习者在学习之前就已经掌握的技能，哪个技能的教学没效果？ 表11.7 题目-目标分析表 目标 1 2 3 4      题目 1 2 3 4 5 6 7 8 9 10 11 12 原始分数 做对率 目标通过数 目标通过率  学习者1 ⅹ ⅹ ⅹ  ⅹ ⅹ    ⅹ ⅹ       学习者2 ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ       学习者3    ⅹ ⅹ ⅹ    ⅹ ⅹ       学习者4 ⅹ   ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ       学习者5 ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ       做对总数                  做对正确率                  通过目标学习者率          注：X = 答案正确 表格空白表示答案错误 只有当一个目标下的所有题目都做对了才算通过了这个目标，因为每道题考的是目标的不同方面
图11.4 前测和后测考试中的题目按目标统计的答对学习者的百分率 答案 你可以使用前测和后测题目-目标分析表数据。有关入门技能的前测数据会告诉你学习者是否具有入门技能，对教学材料的考试题会告诉你是否确定了相关的入门技能。如果学习者在入门技能评测中表现很差，但是在随后的考试中都考得不错，那么你就要查查你所确定的入门技能是否合适了。 你最早也要在对你所开发的材料进行一对一评价之后才为预备技能开发教学。正如你在“实例”部分所看到的，实地试验会告诉你这样的材料是否需要，哪个教学目标需要这些材料。 你应该构造一个题目/目标分析表。这张表既可以用来分析答对的题，也可以用来分析答错的题。对做对的题的分析可以告诉你教学是否有效，对答错题的分析可以发现哪里出错了，从而能有针对性地修改。 你应该在每次批改完试卷后立即对考试的数据进行叙述性分析，因为这些信息是教学修改分析表的基础。如果你没有这么做，当你面对几次考试的成绩时，你就很难指出究竟发生了什么问题。 总结表给出了学习者行为的发展情况。如果有一个目标，学习者在前测时没有掌握，那么在后测时它是否已经被掌握了？ 教学材料的所有成分都可以用态度问卷进行评价，建议在学习者使用教材的同时发放态度问卷。我们建议随堂进行态度问卷调查，趁着学生对教学材料的印象还很新鲜。采用这种方法时，要注意不要打断学习的流畅性。 教学修改分析表包含五类数据：a)策略成分名称，b)该成分中被确定的问题，c)教学中要做的修改，d)考试题或问卷数据，在教学材料上的标记，对过程如何工作的观察，e)这些被作为修改原因的证据的来源 参见表11.8. 基于表中的前测/后测数据： 学习者并不需要对所有技能的教学 在学习前，学习者已经掌握的技能有：2.3.1,2.4.4,2.5,2.7和2.8 基于前测和后测数据，在教学后，学习者在下列技能方面有提高：2.1,2.2,2.3.2,2.4.1,2.4,2,2.4.3.1,2.4.3.2,2.4.5,2.6,2.8.1 除了那些在教学前已经掌握的技能，在教学后，学习者似乎在所有其他技能方面都有提高。 表11.8题目-目标分析表 目标 1 2 3 4      题目 1 2 3 4 5 6 7 8 9 10 11 12 原始分数 做对率 目标通过数 目标通过率  学习者1 ⅹ ⅹ ⅹ  ⅹ ⅹ    ⅹ ⅹ  7 58 1 25  学习者2 ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ  11 92 3 75  学习者3    ⅹ ⅹ ⅹ    ⅹ ⅹ  5 42 1 25  学习者4 ⅹ   ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ  9 75 2 50  学习者5 ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ ⅹ  11 92 3 75  做对总数 4 3 3 4 5 5 3 3 3 5 5 0      做对正确率 80 60 60 80 100 100 60 60 60 100 100 0      通过目标学习者率 60 80 60 0       阅读 Carey, L.M.(2001). Measuring and evaluating school learning(3rd ed.). Boston:Allyn and Bacon. Carey介绍了用题目的标准参照数据与目标来判断学习者掌握情况和评价教学效果的方法。术语与本书一致。 Kemp,J.E., Morrison, G.R., & Ross, S.M.(1998). Designing effective instruction(2nd ed.). New York: Merrill Publishing.这一版既有形成性评价，又有总结性评价，包括设计、数据显示和解释。 Performance and Instruction,22(5),1983. 这期是关于形成性评价的专刊。 Smith, P. L., & Ragan, T.J.(1998).Instructional design.(2nd ed.). New York:Macmillan. 有专门章节讨论形成性评价和总结性评价，其中有为修改教学而做的数据呈现和解释。 Wager, W.(1976).The formative evaluation outcomes matrix. Educational Technology, 16(10),36-38. Wager介绍了如何基于学习者的表现，来决定教学要做什么修改。 Wolf, R.M.(1974).Data analysis and reporting considerations in evaluation.选自Pophan, W.J.(Ed.). Evaluation in education, Current applications. Berkeley, CA:McCutchan Publishing Corp., 205-242.这章介绍了一些进行评价研究的方法，包括如何分析数据，如何显示数据等。 * 第10章后面列出的推荐文献大部分也适用于这章内容。