信息技术教学应用的评价信息技术教学应用的评价
5.1 评价及其作用
5.2评价过程与方法
5.3评价指标体系
5.4 评价的实施
end
评价及其作用
5.1.1评价的分类
5.1.2评价的作用评价的分类
评价,
一般讲是指衡量人物和事物的价值，而价值则是指事物的用途和它的积极作用。美国教育评价专家斯克里汶 (Scriven)曾指出：评价是,决定事物、产品或过程的优点和价值的过程。,
教育评价,
是根据一定的目的，运用科学的技术和方法，对教育现象及其效果进行价值判断的活动，
在 ITAI中是一个重要的环节。
评价的分类美国心理学家布卢姆 根据评价在教学中实施的时间和发挥的作用 不同，把学习评价划分为,
诊断性评价
形成性评价
总结性评价诊断性评价目的,在 开始学习之前,对学习者所具有的认知、情感和技能方面的条件进行评估,使教学更加适合于学习者的需要和背景。
布卢姆认为，诊断性评价旨在促进学习，为缺少先决条件的学生设计一种可以排除学习障碍的教学方案 ;为那些已经掌握了一部分或全部教材内容的学生设计一些发挥其长处并防止厌烦和自满情绪的学习方案。
做法,在教学开始前进行,主要功能是分置（即对不同条件的学生给予不同的安置）
在教学过程中进行,确定造成对补习性的辅导毫无反应以及一直反复出现的学习上的缺陷的根本原因。
形成性评价目的,,形成性评价，就是在课程编制、教学和学习的过程中使用的系统性评价，以便对这三个过程中的任何一个过程加以改进。,形成性评价是掌握学习理论的一个重要思想和措施。掌握学习非常重视自我纠正系统的作用,,即通过频繁的反馈和按照每个学生的需要因人而异的帮助进行改进,。也就是说，形成性评价的宗旨主要在于为教学提供频繁的反馈从而帮助学生改进学习，而不带有评价成绩。
细分,
真实性评价
表现性评价
发展性评价真实性评价真实性评价（ authentic assessment）
指的是在真实的生活环境中评价学生的表现。真实性评价任务是学习过程中有意义、有价值的重要经历。
真实性评价的含义是：评价是学习的一部分，是不断发展变化的，成功或失败只能用学生在新的环境中应用知识和技能的能力的具体事实来说明。
表现性评价表现性评价（ performance assessment）
它关注的是,“我们怎么知道学生知道了什么,,要求定期观察和评价学生的表现。使学生知道评价的标准，给学生确立一个奋斗的目标。
表现性评价常常与真实性评价一起运用，并且与真实性评价一样有着一致的任务特征,情景化、整体化、元认知化（需要学生思考他们的思考过程）、与所教的课程内容相关、灵活性（可以以多种方式展示知识和技能） 。
真实性评价与表现性评价的要求是：多种形式、自我评价、同伴评价、具体的标准、常规的学习结果和自我反思和个人内心反省。
发展性评价发展性评价（ development assessment）
主张面向未来，面向评价对象的发展。它是由形成性教学评价发展而来，但更加强调以人的发展为本的思想。原始意义上的形成性评价强调对工作的改进，而发展性教学评价强调对评价对象人格的尊重，强调人的发展。
发展性教学评价着力于人的内在情感、意志、态度的激发，着力于促进人的完美和发展，是以人为本的思想指导下的教学评价。
发展性教学评价强调,评价主体多元化，重视评价对象自我反馈、自我调控、自我完善、自我认识的作用 ;
更加关注动态变化因素 ;
更加强调个性化和差异性评价。要求评价指标和标准是多元的、开放的和具有差异性的，对信息的收集应当是多样、
全面和丰富的，对评价对象的价值判断应关注评价对象的差异性，有利于评价对象个性的发展。
更加关注不能直接量化的指标在评价中的作用，强调定性评价和定量评价的结合运用。
总结性评价含义,布卢姆认为,“终结性评价的首要目标是给学生评定成绩，或为学生作证明，或者是评定教学方法的有效性,。概括地说，终结性评价是在学完某门课程或某个重要部分之后进行的旨在评价学生是否达到教学目标要求的概括性水平较高的测试和成绩评定。
作用,
第一，为学生评定成绩。对学生的学业成就作出整体的价值判断。
第二，预言学生在后续学习中成功的可能性并确定学生在后续学习中的起点。
第三，为学生提供学习反馈。终结性评价使学生明确自己整体的学习效果，并对学生的学习动力产生重要影响。
评价的作用一般地讲，教学中的评价有以下功能：
（ 1）导向功能,评价是根据一定的价值标准进行的价值判断活动。
评价指标和标准自然地成为被评者的努力方向。
（ 2）诊断功能,在评价活动中，通过对搜集到的信息资料进行整理分析，常能发现评价对象的进步、优点及存在问题。
（ 3）激励功能
(4)管理功能,教学评价具有使管理活动及评价对象的行为得到调节、控制、规范并使其趋向于教育目标实现的功用和能力。
(5)改进功能,教学评价具有使评价对象自身反省、克服不足、
改变已有的不良状态，完善并促进发展的功用和能力。
(6)研究功能,教学评价是一种科学的探究活动。评价的目的在于改进教学工作，提高教育质量。
评价对 ITAI软件发展的作用
（ 1）对已有软件的认可
(2)指导 ITAI软件开发
（ 3）为广大用户提供使用依据
（ 4）促进 ITAI软件质量的提高评价过程与方法
5.2.1评价过程概述
5.2.2 ITAI 软件评价方法评价过程概述大体上包括,
确定目标,对于教育评价，所确定的目标应全面完整，即不仅 包括课程的预期成果，还应包括高级心理过程的目标及情绪、动作技能方面的目标 。目标的设计应采取一定的技术，使设计出的目标正确、合理，具有可行性，目标应含义明确，易于理解和掌握，具有可测性。
前期准备,前期准备工作中，评价方案的制定是一个重要环节，它是在教育评价活动中为实现一定评价目的对评价的依据标准、方法途径、实施程序等所作的设计和安排。
实施评价,实施教育评价包括评价组织与管理、人员培训，
使评价人员能够正确掌握评价方法和标准；信息收集；信息处理和结果的使用。
后期总结,后期总结阶段，最重要的是使评价的作用充分发挥出来。
ITAI 软件评价方法国外主要采用四种基本的软件评价方法,
分析式评论,评价人员根据他们对软件的整体印象写一个总体评价报告，不规 定主题，也不限制格式。
指标体系评定,就是由评价人员根据这样一套特定的指标体系为软件各方面特征分别打分，最后根据各项分数得出该软件的质量等级。
观察方法 是由评价人员设计好态度问卷，然后观察学生使用软件的整个过程，记录学生反应。最后，
让学生填写问卷并进行访谈以获得他们对软件的态度和看法。
实验方法 是由评价人员根据软件的教学目标及最终用户特征开发出适当的测试项目，然后依次实施前测、选取被试利用软件进行学习、后测、记忆保持测试等多项步骤，考察学生在多大程度上掌握了软件所要教授的知识与技能，依此确定软件的教学有效性。
评价组织否是确定待评价软件及一般特征
了解软件的一般特征
筛掉不合格的软件制定评价计划
选择评价人员
构造评价指标体系
制定进度计划实施评价计划
培训评价人员
监督评价过程收集各评价人员的评价结果是否进行教学实验选择试点总结评价结果
汇总评价结果
分析处理数据
撰写评价结果报告评价人员否是接受培训初步评价
试用软件
利用指标体系进行评价是否观察学生使用情况观察学生使用情况
观察
问卷及 /或访谈提交评价结果并建议是否进行教学实验实验学校普通用户反馈意见进行教学实验
设计试卷并前测
让学生使用软件进行学习
后测评价指标体系
5.3.1评价指标体系的建立
5.3.2 评价指标体系实例评价指标体系的建立
评价指标体系建立的基本原则
评价指标体系的设计方法
权重的确定评价指标体系建立的基本原则
目标一致性。即使评价指标与评价目标一致，
又要使下一层次的指标与上一层次的指标一致。
直接的可测性。评价指标系统中末级指标 (最低层次指标 )要用可操作化的语言加以界定，它所规定的内容可直接测量，以获得明确结论。
体系内指标的相互独立性。在指标体系内同一层次的指标必须各自独立，指标间不能相互重叠和包含，不能存在因果关系，不能从一项指标导出另一项指标。
评价指标体系建立的基本原则
指标体系的整体完备性。设计出来的指标体系必须是一个完整、协调的系统，能够全面地、
毫无遗漏地反映评价目标或上一层次指标。一个完备的体系，尽管评价体系内容的各项只是反映教育价值的一个侧面或部分，但是其总和应该是全面地、完整地覆盖整体的教育价值。
指标的可比性。评价指标必须反映评价对象的共同属性，反映评价对象属性中共同的东西。
可接受性。设计的评价指标必须经过人们的努力能够达到。
可行性。设计评价指标的数量和评价标准的高低都要适中。有足够的信息、人力、物力和切实可行的量化方法可资利用。
评价指标体系的设计方法
调查综合法这是一种,自底向上,的体系建立方法。首先，由调查人员通过书面征求意见、访谈或座谈会等方式，了解教师、学生、教学设计人员、
ITAI研究和开发人员等各类人员对 ITAI的价值衡量标准的意见和建议,一一列举出来,由此形成一个仔细的价值判断要素列表,这就是从底向上建立体系的综合分析法的,底,。然后进行综合分析，得出评价指标体系。
然后进入如下图所示的综合分析流程。
开始读入一候选项与原体系中的项是否重复选择其中表达较明晰的项目与原体系中的各项相关是否明显相关性处理与原体系中的各项是否矛盾还有候选项分类归纳整理结束矛盾处理否是否是否是否是评价指标体系的设计方法
系统分析法这是一种从,顶,向下的体系建立方法。它的出发点是对教育本质的认识，对教育价值的宏观认识（就是系统的,顶,）。
首先，采用分解的方法 (或采用头脑风暴法 ),
通过把教育的总目标分解为次级目标 (或称一级指标 )，再将次级目标分解成二级目标。由高到低逐层分解，越是下一级指标越是具体、明确，
范围也越小，直至分解到指标可以观察、测量、
操作，形成末级指标为止。这样形成一个从一级到二级 … 直至末级的指标系列，如下图所示。
然后将列出的各项进行必要的步细化，
并将它们作除重复、矛盾和相关处理，
再检查是否有需要细化的一般化内容，
或遗漏的内容，如果有，就将需要细化的内容或遗漏的内容补充到总表内，进一步进行细化和其它处理，直到整个体系比较完备。如此重复，这样从粗到细的分析方法，得出的评价体系本身是一种层次性的结构。其流程如下图所示。
开始写下所想到的评价内容,并列成表格根据列出的评价内容列出有助于评价和观察的细节将各项细节列表,进行重复项,相关项,矛盾项处理仍有需细化的内容列出需细化的 （ 或补充遗漏的 ） 内容,并列入总表内有遗漏归类整理 结束权重的确定
权重的意义
权重的数字表示
确定指标权重的方法
评价主体权重的确定方法权重的意义评价指标的 权重是表示某项指标在评价指标体系中重要程度的量数标志,是指标体系的重要组成部分。权重又称权数、
权值、权系数。
各项评价指标在指标体系中的地位和重要程度是不同的。为了体现这些差异，在指标体系中为每项评价指标设定权重，是指标具有客观、可比性能。
权重的数字表示
① 小数形式在评价中较多地使用小数表示评价指标的权重。把指标体系整体作为 1，即小数的权重之和为 1，各评价指标的权重为 0
到 1之间的一个小数。若设 W表示权重,Wi表示第 i项指标的权重，则有 0<Wi<1，且在同一层次上指标权重之和为 1，即
∑Wi＝ 1(i＝ l,2,3,…,n)。
② 百分数形式它实际是小数形式的一种变形。百分数形式应满足以下两个条件：同一层次各项指标的权重在 0和 100％之间的一个百分数，即 0<Wi<100％；同一层次上各项指标权重之和为 100
％，即 ∑Wi＝ 100％ (i＝ 1,2,3,…,n)。
③ 整数形式整数实际上是小数或百分数的整倍数。用整数形式表示指标权重，先规定同一层次上各项指标的满分值，常见的有
100,500和 1000，其中以 100最常见。若设 S为同一层次上各项指标的满分整数值，则各项指标的权重在 0和 S之间，即
0<Wi<S；同一层次上各项指标权重之和为 S，即 ∑Wi＝ Si＝ 1，
2,3,…,n)。
确定指标权重的方法
① 集体经验判断法
② 特尔斐法 (Delphi Technique，又称专家咨询法 )
③ 层次分析法 (Analytic Hierarchy
Process，简称 AHP，又称比较法 )
评价主体权重的确定方法由于各评价主体的知识背景、研究方向及经历等方面的差异，他们在决定网络课程或教学软件的各质量特性时具有不同的重要性，因此有必要针对每个评价因素确定各评价主体评价意见的重要性程度，
从而构成评价主体权重集。从可行性和简便性的角度考虑，可采用专家评判法来确定评价主体权重集,
评价指标体系实例多媒体教学软件评价指标例网络课程评价指标例整合应用评价指标例评价的实施
5.4.1评价实施的基本任务
5.4.2 基于计算机网络的实施方案评价实施的基本任务
初次筛选
制定评价计划主要任务是建立评价的指标体系和选择评价人员。
实施评价计划
进行教学实验进行教学实验有两种方法,
总结评价结果总结评价结果得到的各种信息分为两类：一是非数据类型的信息；
另一种是数据类型的。
（ 1）非数据类型信息的处理这一类信息是以文字资料等形式出现的，例如，观察学生使用软件时出现的各种问题；
评价人员提出的各种修改建议；登录表等各种文档资料 ;
（ 2）数据类型信息的处理评价组织得到的大量信息属于数据类型，它们是评价人员分析的主要对象，也是对 ITAI
软件作出价值判断的主要依据。
基于计算机网络的实施方案
ITAI软件评价人员 ITAI软件开发商 普通用户 其它客户端
WEB浏览器身份验证培训请求评价请求查询请求
Email
Internet
服务器端
WEB服务器数据库服务器数据库数据库数据库是基于因特网的 ITAI软件评价与管理信息系统的核心，它主要包括软件评价管理信息表和系统口令表,具体的有：
ITAI软件信息表
评价人员信息表
评价指标表
系统评价结果信息表
其它评价结果信息表
普通用户反馈信息表
系统口令表
ITAI软件信息表
ITAI软件信息表存储与 ITAI软件本身有关的各种数据，主要包括软件名称、版本、采用的教学模式、学科、适用对象、内容简介等等。一般，软件的收集活动主要由专门的评价组织负责，然后通过系统管理员登录到系统中。
此外，软件开发商可以向系统发送增加新软件入库的请求，系统会提供一个格式化输入表单，
提示其按照要求输入有关 ITAI软件 的各种信息，然后远程提交。
评价人员信息表评价人员信息表存储有关评价人员的各种数据，主要包括评价人员姓名、
编号、身份证号码、所在城市、单位、
职称、从事的专业领域，等等。
评价指标表评价指标表存放 ITAI软件评价所需要的所有指标，包括那些适用于所有 ITAI软件的通用指标，
以及分别适用于不同学科、不同教学模式 ITAI软件的特殊指标。
对指标进行分类管理。根据制约 ITAI软件质量的各种因素将所有指标分为教学目标、教学内容、
易用性、数据管理、动机激发、信息呈现、支持材料、可靠性等几部分。每一条指标都注有它所适用的评价人员类型和软件教学模式，所有指标项综合在一起构成一套完整的指标体系，它较全面地反映了影响软件质量和效果的因素。当评价人员对某个特定的 ITAI软件进行评价时，系统可以根据评价人员类型及待评 ITAI软件特征在数据库中检索出由合适的指标构成的一套有针对性的指标体系。
系统评价结果信息表系统评价结果信息表主要存储评价人员利用本系统对已登录 ITAI软件进行评价得到的所有评价结果信息,
其它评价结果信息表其他评价结果信息表主要存储评价组织或人员利用观察或教学实验等方法对
ITAI软件进行评价得到的有关数据。
普通用户反馈信息表普通用户反馈信息表主要存储普通用户使用己登录 ITAI软件之后的反馈意见和建议。
系统口令表系统口令表是出于安全管理的需要而设置的，主要用途是在用户进入系统时对其进行身份验证。
系统的基本功能结构
ITAI软件评价与管理信息系统远程评价子系统远程培训子系统信息服务子系统数据管理子系统数据维护子系统远程评价子系统远程评价子系统是整个系统的核心，它支持对
ITAI软件的指标体系评定。主要功能有以下两个方面：
一是根据被评软件特征及评价人员类型构造有针对性的指标体系；二是接受评价人员对指标体系中各指标项等级的选取，计算评价的最终结果。
首先，系统接受评价人员在远程客户端的登录，
对评价人员的身份进行验证。
该子系统根据待评软件特征和评价人员类型生成一套有针对性的指标构指标体系，并以表格形式输出显示在远端客户浏览器上。评价人员依据该指标体系对被评软件的各个特征进行等级评定，全部填写完毕后按提交键，将其对各指标项等级的选取提交到装在服务器端的系统。该子系统接受用户输入，根据各指标项得分情况，计算评价的最终结果。并将结果输出到客户机屏幕上，同时存储在数据库相应的表中。
远程培训子系统它为评价人员提供适当的培训,以确保他们对软件评价标准与指标体系的理解达到一致，从而在一定程度上提高评价结果的信度与效度。
评价人员登录到系统后，系统根据他填写的有关信息判断其身份。若是没有评价经验的人员，系统自动提醒他们接受培训并提供相应的培训内容。培训是以多种方式呈现学习内容，包括有关评价方法的介绍、评价标准与指标体系的详细解释等等。之后，系统随机选择呈现一组练习题由评价人员回答，并判断其正误。最后系统给出一个简单的 ITAI软件由评价人员进行模拟评价，
系统计算并显示评价结果，同时提供该软件己有的评价结果和教学效果数据供评价人员进行对照，以检验培训的效果。
信息服务子系统信息服务子系统主要提供统计分析、
查询、打印等各项服务。用户可以针对系统中包含的所有信息，如 ITAI软件信息、评价人员信息、评价指标、评价结果等等，进行不同内容、不同形式的查询或者统计分析。
数据管理子系统数据管理子系统负责管理数据库中的所有数据，具体功能包括数据的录入、
删除、修改、更新、拷贝等等。
数据维护子系统数据维护子系统主要完成系统维护、数据备份、归档、电子邮件管理之类的工作。它对数据库中的所有数据进行维护，并定期备份重要数据，在系统遭受意外损失后，能够自动恢复。同时它还负责对用户提交的各种数据以及系统生成的评价结果等进行正确的分类归档，并对相关的电子邮件进行管理。
师书恩北京师范大学信息科学学院电话,010-62205171（ O）
010-82905032（ H）
E-mail,shishuen@263.net
5.1 评价及其作用
5.2评价过程与方法
5.3评价指标体系
5.4 评价的实施
end
评价及其作用
5.1.1评价的分类
5.1.2评价的作用评价的分类
评价,
一般讲是指衡量人物和事物的价值，而价值则是指事物的用途和它的积极作用。美国教育评价专家斯克里汶 (Scriven)曾指出：评价是,决定事物、产品或过程的优点和价值的过程。,
教育评价,
是根据一定的目的，运用科学的技术和方法，对教育现象及其效果进行价值判断的活动，
在 ITAI中是一个重要的环节。
评价的分类美国心理学家布卢姆 根据评价在教学中实施的时间和发挥的作用 不同，把学习评价划分为,
诊断性评价
形成性评价
总结性评价诊断性评价目的,在 开始学习之前,对学习者所具有的认知、情感和技能方面的条件进行评估,使教学更加适合于学习者的需要和背景。
布卢姆认为，诊断性评价旨在促进学习，为缺少先决条件的学生设计一种可以排除学习障碍的教学方案 ;为那些已经掌握了一部分或全部教材内容的学生设计一些发挥其长处并防止厌烦和自满情绪的学习方案。
做法,在教学开始前进行,主要功能是分置（即对不同条件的学生给予不同的安置）
在教学过程中进行,确定造成对补习性的辅导毫无反应以及一直反复出现的学习上的缺陷的根本原因。
形成性评价目的,,形成性评价，就是在课程编制、教学和学习的过程中使用的系统性评价，以便对这三个过程中的任何一个过程加以改进。,形成性评价是掌握学习理论的一个重要思想和措施。掌握学习非常重视自我纠正系统的作用,,即通过频繁的反馈和按照每个学生的需要因人而异的帮助进行改进,。也就是说，形成性评价的宗旨主要在于为教学提供频繁的反馈从而帮助学生改进学习，而不带有评价成绩。
细分,
真实性评价
表现性评价
发展性评价真实性评价真实性评价（ authentic assessment）
指的是在真实的生活环境中评价学生的表现。真实性评价任务是学习过程中有意义、有价值的重要经历。
真实性评价的含义是：评价是学习的一部分，是不断发展变化的，成功或失败只能用学生在新的环境中应用知识和技能的能力的具体事实来说明。
表现性评价表现性评价（ performance assessment）
它关注的是,“我们怎么知道学生知道了什么,,要求定期观察和评价学生的表现。使学生知道评价的标准，给学生确立一个奋斗的目标。
表现性评价常常与真实性评价一起运用，并且与真实性评价一样有着一致的任务特征,情景化、整体化、元认知化（需要学生思考他们的思考过程）、与所教的课程内容相关、灵活性（可以以多种方式展示知识和技能） 。
真实性评价与表现性评价的要求是：多种形式、自我评价、同伴评价、具体的标准、常规的学习结果和自我反思和个人内心反省。
发展性评价发展性评价（ development assessment）
主张面向未来，面向评价对象的发展。它是由形成性教学评价发展而来，但更加强调以人的发展为本的思想。原始意义上的形成性评价强调对工作的改进，而发展性教学评价强调对评价对象人格的尊重，强调人的发展。
发展性教学评价着力于人的内在情感、意志、态度的激发，着力于促进人的完美和发展，是以人为本的思想指导下的教学评价。
发展性教学评价强调,评价主体多元化，重视评价对象自我反馈、自我调控、自我完善、自我认识的作用 ;
更加关注动态变化因素 ;
更加强调个性化和差异性评价。要求评价指标和标准是多元的、开放的和具有差异性的，对信息的收集应当是多样、
全面和丰富的，对评价对象的价值判断应关注评价对象的差异性，有利于评价对象个性的发展。
更加关注不能直接量化的指标在评价中的作用，强调定性评价和定量评价的结合运用。
总结性评价含义,布卢姆认为,“终结性评价的首要目标是给学生评定成绩，或为学生作证明，或者是评定教学方法的有效性,。概括地说，终结性评价是在学完某门课程或某个重要部分之后进行的旨在评价学生是否达到教学目标要求的概括性水平较高的测试和成绩评定。
作用,
第一，为学生评定成绩。对学生的学业成就作出整体的价值判断。
第二，预言学生在后续学习中成功的可能性并确定学生在后续学习中的起点。
第三，为学生提供学习反馈。终结性评价使学生明确自己整体的学习效果，并对学生的学习动力产生重要影响。
评价的作用一般地讲，教学中的评价有以下功能：
（ 1）导向功能,评价是根据一定的价值标准进行的价值判断活动。
评价指标和标准自然地成为被评者的努力方向。
（ 2）诊断功能,在评价活动中，通过对搜集到的信息资料进行整理分析，常能发现评价对象的进步、优点及存在问题。
（ 3）激励功能
(4)管理功能,教学评价具有使管理活动及评价对象的行为得到调节、控制、规范并使其趋向于教育目标实现的功用和能力。
(5)改进功能,教学评价具有使评价对象自身反省、克服不足、
改变已有的不良状态，完善并促进发展的功用和能力。
(6)研究功能,教学评价是一种科学的探究活动。评价的目的在于改进教学工作，提高教育质量。
评价对 ITAI软件发展的作用
（ 1）对已有软件的认可
(2)指导 ITAI软件开发
（ 3）为广大用户提供使用依据
（ 4）促进 ITAI软件质量的提高评价过程与方法
5.2.1评价过程概述
5.2.2 ITAI 软件评价方法评价过程概述大体上包括,
确定目标,对于教育评价，所确定的目标应全面完整，即不仅 包括课程的预期成果，还应包括高级心理过程的目标及情绪、动作技能方面的目标 。目标的设计应采取一定的技术，使设计出的目标正确、合理，具有可行性，目标应含义明确，易于理解和掌握，具有可测性。
前期准备,前期准备工作中，评价方案的制定是一个重要环节，它是在教育评价活动中为实现一定评价目的对评价的依据标准、方法途径、实施程序等所作的设计和安排。
实施评价,实施教育评价包括评价组织与管理、人员培训，
使评价人员能够正确掌握评价方法和标准；信息收集；信息处理和结果的使用。
后期总结,后期总结阶段，最重要的是使评价的作用充分发挥出来。
ITAI 软件评价方法国外主要采用四种基本的软件评价方法,
分析式评论,评价人员根据他们对软件的整体印象写一个总体评价报告，不规 定主题，也不限制格式。
指标体系评定,就是由评价人员根据这样一套特定的指标体系为软件各方面特征分别打分，最后根据各项分数得出该软件的质量等级。
观察方法 是由评价人员设计好态度问卷，然后观察学生使用软件的整个过程，记录学生反应。最后，
让学生填写问卷并进行访谈以获得他们对软件的态度和看法。
实验方法 是由评价人员根据软件的教学目标及最终用户特征开发出适当的测试项目，然后依次实施前测、选取被试利用软件进行学习、后测、记忆保持测试等多项步骤，考察学生在多大程度上掌握了软件所要教授的知识与技能，依此确定软件的教学有效性。
评价组织否是确定待评价软件及一般特征
了解软件的一般特征
筛掉不合格的软件制定评价计划
选择评价人员
构造评价指标体系
制定进度计划实施评价计划
培训评价人员
监督评价过程收集各评价人员的评价结果是否进行教学实验选择试点总结评价结果
汇总评价结果
分析处理数据
撰写评价结果报告评价人员否是接受培训初步评价
试用软件
利用指标体系进行评价是否观察学生使用情况观察学生使用情况
观察
问卷及 /或访谈提交评价结果并建议是否进行教学实验实验学校普通用户反馈意见进行教学实验
设计试卷并前测
让学生使用软件进行学习
后测评价指标体系
5.3.1评价指标体系的建立
5.3.2 评价指标体系实例评价指标体系的建立
评价指标体系建立的基本原则
评价指标体系的设计方法
权重的确定评价指标体系建立的基本原则
目标一致性。即使评价指标与评价目标一致，
又要使下一层次的指标与上一层次的指标一致。
直接的可测性。评价指标系统中末级指标 (最低层次指标 )要用可操作化的语言加以界定，它所规定的内容可直接测量，以获得明确结论。
体系内指标的相互独立性。在指标体系内同一层次的指标必须各自独立，指标间不能相互重叠和包含，不能存在因果关系，不能从一项指标导出另一项指标。
评价指标体系建立的基本原则
指标体系的整体完备性。设计出来的指标体系必须是一个完整、协调的系统，能够全面地、
毫无遗漏地反映评价目标或上一层次指标。一个完备的体系，尽管评价体系内容的各项只是反映教育价值的一个侧面或部分，但是其总和应该是全面地、完整地覆盖整体的教育价值。
指标的可比性。评价指标必须反映评价对象的共同属性，反映评价对象属性中共同的东西。
可接受性。设计的评价指标必须经过人们的努力能够达到。
可行性。设计评价指标的数量和评价标准的高低都要适中。有足够的信息、人力、物力和切实可行的量化方法可资利用。
评价指标体系的设计方法
调查综合法这是一种,自底向上,的体系建立方法。首先，由调查人员通过书面征求意见、访谈或座谈会等方式，了解教师、学生、教学设计人员、
ITAI研究和开发人员等各类人员对 ITAI的价值衡量标准的意见和建议,一一列举出来,由此形成一个仔细的价值判断要素列表,这就是从底向上建立体系的综合分析法的,底,。然后进行综合分析，得出评价指标体系。
然后进入如下图所示的综合分析流程。
开始读入一候选项与原体系中的项是否重复选择其中表达较明晰的项目与原体系中的各项相关是否明显相关性处理与原体系中的各项是否矛盾还有候选项分类归纳整理结束矛盾处理否是否是否是否是评价指标体系的设计方法
系统分析法这是一种从,顶,向下的体系建立方法。它的出发点是对教育本质的认识，对教育价值的宏观认识（就是系统的,顶,）。
首先，采用分解的方法 (或采用头脑风暴法 ),
通过把教育的总目标分解为次级目标 (或称一级指标 )，再将次级目标分解成二级目标。由高到低逐层分解，越是下一级指标越是具体、明确，
范围也越小，直至分解到指标可以观察、测量、
操作，形成末级指标为止。这样形成一个从一级到二级 … 直至末级的指标系列，如下图所示。
然后将列出的各项进行必要的步细化，
并将它们作除重复、矛盾和相关处理，
再检查是否有需要细化的一般化内容，
或遗漏的内容，如果有，就将需要细化的内容或遗漏的内容补充到总表内，进一步进行细化和其它处理，直到整个体系比较完备。如此重复，这样从粗到细的分析方法，得出的评价体系本身是一种层次性的结构。其流程如下图所示。
开始写下所想到的评价内容,并列成表格根据列出的评价内容列出有助于评价和观察的细节将各项细节列表,进行重复项,相关项,矛盾项处理仍有需细化的内容列出需细化的 （ 或补充遗漏的 ） 内容,并列入总表内有遗漏归类整理 结束权重的确定
权重的意义
权重的数字表示
确定指标权重的方法
评价主体权重的确定方法权重的意义评价指标的 权重是表示某项指标在评价指标体系中重要程度的量数标志,是指标体系的重要组成部分。权重又称权数、
权值、权系数。
各项评价指标在指标体系中的地位和重要程度是不同的。为了体现这些差异，在指标体系中为每项评价指标设定权重，是指标具有客观、可比性能。
权重的数字表示
① 小数形式在评价中较多地使用小数表示评价指标的权重。把指标体系整体作为 1，即小数的权重之和为 1，各评价指标的权重为 0
到 1之间的一个小数。若设 W表示权重,Wi表示第 i项指标的权重，则有 0<Wi<1，且在同一层次上指标权重之和为 1，即
∑Wi＝ 1(i＝ l,2,3,…,n)。
② 百分数形式它实际是小数形式的一种变形。百分数形式应满足以下两个条件：同一层次各项指标的权重在 0和 100％之间的一个百分数，即 0<Wi<100％；同一层次上各项指标权重之和为 100
％，即 ∑Wi＝ 100％ (i＝ 1,2,3,…,n)。
③ 整数形式整数实际上是小数或百分数的整倍数。用整数形式表示指标权重，先规定同一层次上各项指标的满分值，常见的有
100,500和 1000，其中以 100最常见。若设 S为同一层次上各项指标的满分整数值，则各项指标的权重在 0和 S之间，即
0<Wi<S；同一层次上各项指标权重之和为 S，即 ∑Wi＝ Si＝ 1，
2,3,…,n)。
确定指标权重的方法
① 集体经验判断法
② 特尔斐法 (Delphi Technique，又称专家咨询法 )
③ 层次分析法 (Analytic Hierarchy
Process，简称 AHP，又称比较法 )
评价主体权重的确定方法由于各评价主体的知识背景、研究方向及经历等方面的差异，他们在决定网络课程或教学软件的各质量特性时具有不同的重要性，因此有必要针对每个评价因素确定各评价主体评价意见的重要性程度，
从而构成评价主体权重集。从可行性和简便性的角度考虑，可采用专家评判法来确定评价主体权重集,
评价指标体系实例多媒体教学软件评价指标例网络课程评价指标例整合应用评价指标例评价的实施
5.4.1评价实施的基本任务
5.4.2 基于计算机网络的实施方案评价实施的基本任务
初次筛选
制定评价计划主要任务是建立评价的指标体系和选择评价人员。
实施评价计划
进行教学实验进行教学实验有两种方法,
总结评价结果总结评价结果得到的各种信息分为两类：一是非数据类型的信息；
另一种是数据类型的。
（ 1）非数据类型信息的处理这一类信息是以文字资料等形式出现的，例如，观察学生使用软件时出现的各种问题；
评价人员提出的各种修改建议；登录表等各种文档资料 ;
（ 2）数据类型信息的处理评价组织得到的大量信息属于数据类型，它们是评价人员分析的主要对象，也是对 ITAI
软件作出价值判断的主要依据。
基于计算机网络的实施方案
ITAI软件评价人员 ITAI软件开发商 普通用户 其它客户端
WEB浏览器身份验证培训请求评价请求查询请求
Internet
服务器端
WEB服务器数据库服务器数据库数据库数据库是基于因特网的 ITAI软件评价与管理信息系统的核心，它主要包括软件评价管理信息表和系统口令表,具体的有：
ITAI软件信息表
评价人员信息表
评价指标表
系统评价结果信息表
其它评价结果信息表
普通用户反馈信息表
系统口令表
ITAI软件信息表
ITAI软件信息表存储与 ITAI软件本身有关的各种数据，主要包括软件名称、版本、采用的教学模式、学科、适用对象、内容简介等等。一般，软件的收集活动主要由专门的评价组织负责，然后通过系统管理员登录到系统中。
此外，软件开发商可以向系统发送增加新软件入库的请求，系统会提供一个格式化输入表单，
提示其按照要求输入有关 ITAI软件 的各种信息，然后远程提交。
评价人员信息表评价人员信息表存储有关评价人员的各种数据，主要包括评价人员姓名、
编号、身份证号码、所在城市、单位、
职称、从事的专业领域，等等。
评价指标表评价指标表存放 ITAI软件评价所需要的所有指标，包括那些适用于所有 ITAI软件的通用指标，
以及分别适用于不同学科、不同教学模式 ITAI软件的特殊指标。
对指标进行分类管理。根据制约 ITAI软件质量的各种因素将所有指标分为教学目标、教学内容、
易用性、数据管理、动机激发、信息呈现、支持材料、可靠性等几部分。每一条指标都注有它所适用的评价人员类型和软件教学模式，所有指标项综合在一起构成一套完整的指标体系，它较全面地反映了影响软件质量和效果的因素。当评价人员对某个特定的 ITAI软件进行评价时，系统可以根据评价人员类型及待评 ITAI软件特征在数据库中检索出由合适的指标构成的一套有针对性的指标体系。
系统评价结果信息表系统评价结果信息表主要存储评价人员利用本系统对已登录 ITAI软件进行评价得到的所有评价结果信息,
其它评价结果信息表其他评价结果信息表主要存储评价组织或人员利用观察或教学实验等方法对
ITAI软件进行评价得到的有关数据。
普通用户反馈信息表普通用户反馈信息表主要存储普通用户使用己登录 ITAI软件之后的反馈意见和建议。
系统口令表系统口令表是出于安全管理的需要而设置的，主要用途是在用户进入系统时对其进行身份验证。
系统的基本功能结构
ITAI软件评价与管理信息系统远程评价子系统远程培训子系统信息服务子系统数据管理子系统数据维护子系统远程评价子系统远程评价子系统是整个系统的核心，它支持对
ITAI软件的指标体系评定。主要功能有以下两个方面：
一是根据被评软件特征及评价人员类型构造有针对性的指标体系；二是接受评价人员对指标体系中各指标项等级的选取，计算评价的最终结果。
首先，系统接受评价人员在远程客户端的登录，
对评价人员的身份进行验证。
该子系统根据待评软件特征和评价人员类型生成一套有针对性的指标构指标体系，并以表格形式输出显示在远端客户浏览器上。评价人员依据该指标体系对被评软件的各个特征进行等级评定，全部填写完毕后按提交键，将其对各指标项等级的选取提交到装在服务器端的系统。该子系统接受用户输入，根据各指标项得分情况，计算评价的最终结果。并将结果输出到客户机屏幕上，同时存储在数据库相应的表中。
远程培训子系统它为评价人员提供适当的培训,以确保他们对软件评价标准与指标体系的理解达到一致，从而在一定程度上提高评价结果的信度与效度。
评价人员登录到系统后，系统根据他填写的有关信息判断其身份。若是没有评价经验的人员，系统自动提醒他们接受培训并提供相应的培训内容。培训是以多种方式呈现学习内容，包括有关评价方法的介绍、评价标准与指标体系的详细解释等等。之后，系统随机选择呈现一组练习题由评价人员回答，并判断其正误。最后系统给出一个简单的 ITAI软件由评价人员进行模拟评价，
系统计算并显示评价结果，同时提供该软件己有的评价结果和教学效果数据供评价人员进行对照，以检验培训的效果。
信息服务子系统信息服务子系统主要提供统计分析、
查询、打印等各项服务。用户可以针对系统中包含的所有信息，如 ITAI软件信息、评价人员信息、评价指标、评价结果等等，进行不同内容、不同形式的查询或者统计分析。
数据管理子系统数据管理子系统负责管理数据库中的所有数据，具体功能包括数据的录入、
删除、修改、更新、拷贝等等。
数据维护子系统数据维护子系统主要完成系统维护、数据备份、归档、电子邮件管理之类的工作。它对数据库中的所有数据进行维护，并定期备份重要数据，在系统遭受意外损失后，能够自动恢复。同时它还负责对用户提交的各种数据以及系统生成的评价结果等进行正确的分类归档，并对相关的电子邮件进行管理。
师书恩北京师范大学信息科学学院电话,010-62205171（ O）
010-82905032（ H）
E-mail,shishuen@263.net
