主讲：陈爱吾 人
员
素
质
测
评
人
员
素
质
测
评
联系方式,13875886959或 chenaiwu@yeah.net
2树木树人 求是求新
中南林学院人力资源管理教研室 主讲：陈爱吾
第八章 测评质量检测
第一节 信度（ reliability）
一、定义
1、信度是指测量的一致性程度，或者说是测验分数的可靠性程度
信度是指测评结果的稳定性，换句话说，即用
同一测量工具反复测量某人的同一心理素质，
多次测量结果应一致。系统误差与信度无关，
随机误差才影响信度
2、统计定义,X = T + E
（ 1）信度是观测分数与真分数的相关
（ 2）真分数的变异在观测变异中所占的比例
（ 3）平行测验之间的相关
XTr
2
2
X
T
s
s
21XX
r
4树木树人 求是求新
中南林学院人力资源管理教研室 主讲：陈爱吾
第一节 信度（ reliability）
二、信度的种类
1、再测信度
同一测验对同一组被试的先后两次测量之间的相关
2、复本信度
两个内容、结构相同的测验对同一组被试测量结果的相关
3、分半信度
4,克伦巴赫 α 系数（ cronbach - α）和
库 -理（ Kuder-Richardson）信度
???
?
???
? ??
?? 2
2
11
t
i
S
S
K
K?
???
?
???
? ??
?? 211 tKR S
pq
K
Kr
5、评分者信度
[例 ]
? ?
? ?NNK
RRW
?
???
32
2
12
1
一 二 三 四 五 六
A 4 1 3 5 2 6
B 2 3 4 5 1 6
C 3 2 5 4 1 6
R 9 6 12 14 4 18
被评者
评
定
者
公式中 K=3（评定者数）
N=6（被评者数）
5.106 18...69 ?????R
? ? ? ? ? ? 5.1 3 55.1018...)5.106(5.109 2222 ?????????? RR
? ?
86.0
62 1 69
12
1
5.1 3 5 ?
???
?W
三、影响信度的因素
1、测验的长度
2、测验分数的分布范围
3、测验的难度
4、测验题目的客观化程度
8树木树人 求是求新
中南林学院人力资源管理教研室 主讲：陈爱吾
四, 信度系数与误差来源
信度系数类型 误差方差
再测信度 时间取样
复本信度（即时） 内容取样
复本信度（延迟） 时间取样和内容取样
分半信度 内容取样
库 -理信度和 α 系数 内容取样和内容异质性
评分者信度 评分者之间差异
9树木树人 求是求新
中南林学院人力资源管理教研室 主讲：陈爱吾
第二节 效度（ Validity）
一、含义
效度（ Validity)是指一个测验或量表实际能
测出其所要测的心理特质的程度。
二、内容效度
1，含义
内容效度（ Content Validity）是指一个测验
实际测到的内容与所要测量的内容之间的吻合
程度。如高中物理包括力学、电学、光学、热
学以及原子物理学 5个方面。
10树木树人 求是求新
中南林学院人力资源管理教研室 主讲：陈爱吾
2，应用范围
主要应用于成就测验、职业测验。不适合能力倾
向测验和人格测验。
3，确定方法
蓝图对照分析法
11树木树人 求是求新
中南林学院人力资源管理教研室 主讲：陈爱吾
部分 节 考试内容 试题形式 试题量 分值 权重 考试时间
语法结构
与词汇
A 语法填空（单句） 四选一 10 5 20 20% 35
B 语法辨错（单句） 四选一 10 5
C 词语填空（单句） 四选一 20 10
完形填空 完形填空（ 1篇短文） 四选一 10 10 10% 15
阅读理解 阅读理解（ 5篇短文） 四选一 20 40 40% 60
英译汉 正确理解英语原文
并用汉语表达原文
所述内容
五段译文 5 15 15% 30
短文写作 根据所给题目或素
材写出叙述、说明
或议论性的短文
一篇作文 1 15 15% 40
总计 76 100 100% 180
1999年全国硕士研究生入学考试英语试卷结构基本框架
12树木树人 求是求新
中南林学院人力资源管理教研室 主讲：陈爱吾
文科考生试卷蓝图（满分为 100分）
马克思主义基本原理 约 36%
中国革命史 约 18%
中国社会主义建设 约 18%
世界政治经济与国际关系 约 18%
时事政治 约 10%
4，题型比例：
选择题 约 40%
简答题和辨析题 约 20%
材料分析题和论述题 约 40%
13树木树人 求是求新
中南林学院人力资源管理教研室 主讲：陈爱吾
专家比较判断法
C＝ n－ N÷ 2／ N÷ 2（ N为专家总数,n为肯定
人数）
三、结构效度
1，含义
结构效度（ Construct Validity）是指一个测
验实际测到所要测量的理论结构和特质的程度。
它与人们的理解直接相关，如“能力”
14树木树人 求是求新
中南林学院人力资源管理教研室 主讲：陈爱吾
2，适用范围
适用于智力测验、人格测验等。
3，确定方法
⑴提出理论假设，并将其分解成细目
⑵依据理论框架，推演出有关测验成绩的假设（操
作化定义）
⑶用逻辑的和实证的方法来验证假设（排除法、咨
询法、相关法、逻辑分析法、多元分析法）
15树木树人 求是求新
中南林学院人力资源管理教研室 主讲：陈爱吾
如，韦克斯勒首先假设“智力是一个人去理解
和应付他周围世界的总的才能”，然后，他依据这
一定义，编制 11个分测验从十几个方面来说明智力，
编好测验又从多个角度加以验证，最后，用因素分
析法验证，该测验实际测量了三类共同因素，即 A
因素（言语理解）,B因素（知觉组织）,C因素
（记忆和注意集中）。
16树木树人 求是求新
中南林学院人力资源管理教研室 主讲：陈爱吾
四、关联效度
1，定义
指测评结果与某种标准结果的一致性程度。
根据效标结果与测评结果获得的时间是否相同可
分为同时效度和预测效度。
2，公式,（见 P191）
17树木树人 求是求新
中南林学院人力资源管理教研室 主讲：陈爱吾
被
测
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 总计
自
编
61 53 70 49 90 45 76 56 62 60 88 68 65 50 63 956
X
X
37
21
28
09
49
00
24
01
81
00
20
25
63376
卡
测
52 38 89 41 85 61 70 37 76 57 85 47 61 52 60 911
Y
Y
27
04
14
44
79
21
16
81
72
25
37
21
59449
X
Y
31
72
30
74
62
30
60365
15名被测评者两种测验分数
18树木树人 求是求新
中南林学院人力资源管理教研室 主讲：陈爱吾
为研究某能力测验的预测效度，在被录取的高
考考生中随机抽取 10人，测得他们的测验分数 X，对
他们进行跟踪研究，求得他们大学一、二年级有关
科目平均分数为 Y，其分数见下表，试求该测验的效
度。
参考案例
19树木树人 求是求新
中南林学院人力资源管理教研室 主讲：陈爱吾
X Y x y xx yy xy XX YY XY
74 82 -1.6 -1.7 2.56 2.89 2.72 5476 6724 6068
71 75 -4.6 -8.7 22.16 75.69 40.02 5041 5625 5325
80 81 4.4 -2.7 19.36 7.29 -11.88 6400 6561 6480
85 89 9.4 5.3 88.36 28.09 49.82 7225 7921 7565
76 82 0.4 -1.7 0.16 2.89 -0.68 5776 6724 6232
77 89 1.4 5.3 1.96 28.09 7.42 5929 7921 6853
77 88 1.4 4.3 1.96 18.49 6.02 5929 7744 6776
68 84 -7.6 0.3 57.76 0.09 -2.28 4624 7056 5712
74 80 -1.6 -3.7 2.56 13.69 5.92 5476 6400 5920
74 87 -1.6 3.3 2.56 10.89 -5.28 5476 7569 6438
Σ 756 837 0 0 198.40 188.07 91.80 57352 70245 63369
20树木树人 求是求新
中南林学院人力资源管理教研室 主讲：陈爱吾
3，行为效标：
⑴学术成就
⑵特殊训练成绩
⑶实际工作表现
⑷团体特征
⑸等级评定结果
⑹前期测评结果
21树木树人 求是求新
中南林学院人力资源管理教研室 主讲：陈爱吾
五、项目分析效度
即被试在某一项目上的得分与外部的某组效标
分数的相关性。（见 P194）
公式：
22树木树人 求是求新
中南林学院人力资源管理教研室 主讲：陈爱吾参考案例
下表为 10名被试一次面试和一次知识考试的
得分,试求该面试的项目分数效度
考生 A B C D E F G H I J
知识考试 75 57 73 65 67 56 63 61 65 67
面试 7 6 7 4 7 4 4 4 7 6
n＝ 10 S＝ 6.12 p＝ 6/10＝ 0.6 q＝ 4/10＝ 0.4 Xp＝ 67.33 Xq＝ 61.25
23树木树人 求是求新
中南林学院人力资源管理教研室 主讲：陈爱吾
六、影响效度的因素
1、测验本身的因素（题目、结构）
2、实施
3、信度
24树木树人 求是求新
中南林学院人力资源管理教研室 主讲：陈爱吾
七、提高测评效度的方法
1，精心编制测验量表，避免出现较大的系统误
差
2，妥善组织测验，控制随机误差
3，创设标准的应试情景，让被试正常发挥水平
4，选好正确效标，正确使用有关公式
第三节 题目分析
一、通过率（难度）
1、公式
（ 1）二值计分 P = m / n
(m为答对该题的人数,n为总人数）
（ 2）非二值计分
（ 为全体被试该题目的平均分, X为答对该题应得分数 ）
X
xP ?
26树木树人 求是求新
中南林学院人力资源管理教研室 主讲：陈爱吾
第三节 题目分析
2、通过率多大是合适的题目
（ 1）常模参照能力测验：
A.一般 P=0.50 的题目为好，因为
它使总体的变异最大。
B.当题目之间正相关时，题目难度值应分布
的广些但平均难度应以 0.50为好。
C.当题目有猜测可能时，题目的 P 值应适当加大。
D.选拔性测验还要考虑录取率。
（ 2）标准参照能力测验
P = 1.0 或 P = 0 有可能也是好题
（ 3） 人格测验
P ≧ 0.95 或 P ≦ 0.05 的题目考虑删除
27树木树人 求是求新
中南林学院人力资源管理教研室 主讲：陈爱吾
第三节 题目分析
二、区分度 （ discrimination）
测验题目对所测量的心理特质的区分程度。
1、高分组 --低分组
根据测验总分取两端的人作为高分组低分组（一般取上下各占 27%
的人）
D = PH – PL
PH 为高分组该题通过率
PL 为低分组该题通过率
2、点二列相关系数（ point biserial correlation)
其中 p为该题通过率
q为该题未通过率
为通过该题的那部分人测验总分的平均值
为未通过该题的那部分人测验总分的平均值
St 为全体被试测验总分的标准差
pq)S X-X(r
t
qp
pb ?
pX
qX
[例 ]
学
生 A B C D E F G H I J K L M N O
总
分 65 70 31 49 80 50 35 10 81 69 78 55 77 90 42
对
错 0 1 0 1 1 0 1 0 0 1 1 0 1 1 0
53.0158P ?? 47.053.01q ???
48.047.053.0
72.21
71.4750.68
72.21
71.4750.68
8
90.......804970
??
?
?
?
??
????
?
pb
t
qp
r
S
XX
30树木树人 求是求新
中南林学院人力资源管理教研室 主讲：陈爱吾
第三节 题目分析
三、选项分析
备选项 A B C D*
人数比例 55% 5% 10% 30%
员
素
质
测
评
人
员
素
质
测
评
联系方式,13875886959或 chenaiwu@yeah.net
2树木树人 求是求新
中南林学院人力资源管理教研室 主讲：陈爱吾
第八章 测评质量检测
第一节 信度（ reliability）
一、定义
1、信度是指测量的一致性程度，或者说是测验分数的可靠性程度
信度是指测评结果的稳定性，换句话说，即用
同一测量工具反复测量某人的同一心理素质，
多次测量结果应一致。系统误差与信度无关，
随机误差才影响信度
2、统计定义,X = T + E
（ 1）信度是观测分数与真分数的相关
（ 2）真分数的变异在观测变异中所占的比例
（ 3）平行测验之间的相关
XTr
2
2
X
T
s
s
21XX
r
4树木树人 求是求新
中南林学院人力资源管理教研室 主讲：陈爱吾
第一节 信度（ reliability）
二、信度的种类
1、再测信度
同一测验对同一组被试的先后两次测量之间的相关
2、复本信度
两个内容、结构相同的测验对同一组被试测量结果的相关
3、分半信度
4,克伦巴赫 α 系数（ cronbach - α）和
库 -理（ Kuder-Richardson）信度
???
?
???
? ??
?? 2
2
11
t
i
S
S
K
K?
???
?
???
? ??
?? 211 tKR S
pq
K
Kr
5、评分者信度
[例 ]
? ?
? ?NNK
RRW
?
???
32
2
12
1
一 二 三 四 五 六
A 4 1 3 5 2 6
B 2 3 4 5 1 6
C 3 2 5 4 1 6
R 9 6 12 14 4 18
被评者
评
定
者
公式中 K=3（评定者数）
N=6（被评者数）
5.106 18...69 ?????R
? ? ? ? ? ? 5.1 3 55.1018...)5.106(5.109 2222 ?????????? RR
? ?
86.0
62 1 69
12
1
5.1 3 5 ?
???
?W
三、影响信度的因素
1、测验的长度
2、测验分数的分布范围
3、测验的难度
4、测验题目的客观化程度
8树木树人 求是求新
中南林学院人力资源管理教研室 主讲：陈爱吾
四, 信度系数与误差来源
信度系数类型 误差方差
再测信度 时间取样
复本信度（即时） 内容取样
复本信度（延迟） 时间取样和内容取样
分半信度 内容取样
库 -理信度和 α 系数 内容取样和内容异质性
评分者信度 评分者之间差异
9树木树人 求是求新
中南林学院人力资源管理教研室 主讲：陈爱吾
第二节 效度（ Validity）
一、含义
效度（ Validity)是指一个测验或量表实际能
测出其所要测的心理特质的程度。
二、内容效度
1，含义
内容效度（ Content Validity）是指一个测验
实际测到的内容与所要测量的内容之间的吻合
程度。如高中物理包括力学、电学、光学、热
学以及原子物理学 5个方面。
10树木树人 求是求新
中南林学院人力资源管理教研室 主讲：陈爱吾
2，应用范围
主要应用于成就测验、职业测验。不适合能力倾
向测验和人格测验。
3，确定方法
蓝图对照分析法
11树木树人 求是求新
中南林学院人力资源管理教研室 主讲：陈爱吾
部分 节 考试内容 试题形式 试题量 分值 权重 考试时间
语法结构
与词汇
A 语法填空（单句） 四选一 10 5 20 20% 35
B 语法辨错（单句） 四选一 10 5
C 词语填空（单句） 四选一 20 10
完形填空 完形填空（ 1篇短文） 四选一 10 10 10% 15
阅读理解 阅读理解（ 5篇短文） 四选一 20 40 40% 60
英译汉 正确理解英语原文
并用汉语表达原文
所述内容
五段译文 5 15 15% 30
短文写作 根据所给题目或素
材写出叙述、说明
或议论性的短文
一篇作文 1 15 15% 40
总计 76 100 100% 180
1999年全国硕士研究生入学考试英语试卷结构基本框架
12树木树人 求是求新
中南林学院人力资源管理教研室 主讲：陈爱吾
文科考生试卷蓝图（满分为 100分）
马克思主义基本原理 约 36%
中国革命史 约 18%
中国社会主义建设 约 18%
世界政治经济与国际关系 约 18%
时事政治 约 10%
4，题型比例：
选择题 约 40%
简答题和辨析题 约 20%
材料分析题和论述题 约 40%
13树木树人 求是求新
中南林学院人力资源管理教研室 主讲：陈爱吾
专家比较判断法
C＝ n－ N÷ 2／ N÷ 2（ N为专家总数,n为肯定
人数）
三、结构效度
1，含义
结构效度（ Construct Validity）是指一个测
验实际测到所要测量的理论结构和特质的程度。
它与人们的理解直接相关，如“能力”
14树木树人 求是求新
中南林学院人力资源管理教研室 主讲：陈爱吾
2，适用范围
适用于智力测验、人格测验等。
3，确定方法
⑴提出理论假设，并将其分解成细目
⑵依据理论框架，推演出有关测验成绩的假设（操
作化定义）
⑶用逻辑的和实证的方法来验证假设（排除法、咨
询法、相关法、逻辑分析法、多元分析法）
15树木树人 求是求新
中南林学院人力资源管理教研室 主讲：陈爱吾
如，韦克斯勒首先假设“智力是一个人去理解
和应付他周围世界的总的才能”，然后，他依据这
一定义，编制 11个分测验从十几个方面来说明智力，
编好测验又从多个角度加以验证，最后，用因素分
析法验证，该测验实际测量了三类共同因素，即 A
因素（言语理解）,B因素（知觉组织）,C因素
（记忆和注意集中）。
16树木树人 求是求新
中南林学院人力资源管理教研室 主讲：陈爱吾
四、关联效度
1，定义
指测评结果与某种标准结果的一致性程度。
根据效标结果与测评结果获得的时间是否相同可
分为同时效度和预测效度。
2，公式,（见 P191）
17树木树人 求是求新
中南林学院人力资源管理教研室 主讲：陈爱吾
被
测
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 总计
自
编
61 53 70 49 90 45 76 56 62 60 88 68 65 50 63 956
X
X
37
21
28
09
49
00
24
01
81
00
20
25
63376
卡
测
52 38 89 41 85 61 70 37 76 57 85 47 61 52 60 911
Y
Y
27
04
14
44
79
21
16
81
72
25
37
21
59449
X
Y
31
72
30
74
62
30
60365
15名被测评者两种测验分数
18树木树人 求是求新
中南林学院人力资源管理教研室 主讲：陈爱吾
为研究某能力测验的预测效度，在被录取的高
考考生中随机抽取 10人，测得他们的测验分数 X，对
他们进行跟踪研究，求得他们大学一、二年级有关
科目平均分数为 Y，其分数见下表，试求该测验的效
度。
参考案例
19树木树人 求是求新
中南林学院人力资源管理教研室 主讲：陈爱吾
X Y x y xx yy xy XX YY XY
74 82 -1.6 -1.7 2.56 2.89 2.72 5476 6724 6068
71 75 -4.6 -8.7 22.16 75.69 40.02 5041 5625 5325
80 81 4.4 -2.7 19.36 7.29 -11.88 6400 6561 6480
85 89 9.4 5.3 88.36 28.09 49.82 7225 7921 7565
76 82 0.4 -1.7 0.16 2.89 -0.68 5776 6724 6232
77 89 1.4 5.3 1.96 28.09 7.42 5929 7921 6853
77 88 1.4 4.3 1.96 18.49 6.02 5929 7744 6776
68 84 -7.6 0.3 57.76 0.09 -2.28 4624 7056 5712
74 80 -1.6 -3.7 2.56 13.69 5.92 5476 6400 5920
74 87 -1.6 3.3 2.56 10.89 -5.28 5476 7569 6438
Σ 756 837 0 0 198.40 188.07 91.80 57352 70245 63369
20树木树人 求是求新
中南林学院人力资源管理教研室 主讲：陈爱吾
3，行为效标：
⑴学术成就
⑵特殊训练成绩
⑶实际工作表现
⑷团体特征
⑸等级评定结果
⑹前期测评结果
21树木树人 求是求新
中南林学院人力资源管理教研室 主讲：陈爱吾
五、项目分析效度
即被试在某一项目上的得分与外部的某组效标
分数的相关性。（见 P194）
公式：
22树木树人 求是求新
中南林学院人力资源管理教研室 主讲：陈爱吾参考案例
下表为 10名被试一次面试和一次知识考试的
得分,试求该面试的项目分数效度
考生 A B C D E F G H I J
知识考试 75 57 73 65 67 56 63 61 65 67
面试 7 6 7 4 7 4 4 4 7 6
n＝ 10 S＝ 6.12 p＝ 6/10＝ 0.6 q＝ 4/10＝ 0.4 Xp＝ 67.33 Xq＝ 61.25
23树木树人 求是求新
中南林学院人力资源管理教研室 主讲：陈爱吾
六、影响效度的因素
1、测验本身的因素（题目、结构）
2、实施
3、信度
24树木树人 求是求新
中南林学院人力资源管理教研室 主讲：陈爱吾
七、提高测评效度的方法
1，精心编制测验量表，避免出现较大的系统误
差
2，妥善组织测验，控制随机误差
3，创设标准的应试情景，让被试正常发挥水平
4，选好正确效标，正确使用有关公式
第三节 题目分析
一、通过率（难度）
1、公式
（ 1）二值计分 P = m / n
(m为答对该题的人数,n为总人数）
（ 2）非二值计分
（ 为全体被试该题目的平均分, X为答对该题应得分数 ）
X
xP ?
26树木树人 求是求新
中南林学院人力资源管理教研室 主讲：陈爱吾
第三节 题目分析
2、通过率多大是合适的题目
（ 1）常模参照能力测验：
A.一般 P=0.50 的题目为好，因为
它使总体的变异最大。
B.当题目之间正相关时，题目难度值应分布
的广些但平均难度应以 0.50为好。
C.当题目有猜测可能时，题目的 P 值应适当加大。
D.选拔性测验还要考虑录取率。
（ 2）标准参照能力测验
P = 1.0 或 P = 0 有可能也是好题
（ 3） 人格测验
P ≧ 0.95 或 P ≦ 0.05 的题目考虑删除
27树木树人 求是求新
中南林学院人力资源管理教研室 主讲：陈爱吾
第三节 题目分析
二、区分度 （ discrimination）
测验题目对所测量的心理特质的区分程度。
1、高分组 --低分组
根据测验总分取两端的人作为高分组低分组（一般取上下各占 27%
的人）
D = PH – PL
PH 为高分组该题通过率
PL 为低分组该题通过率
2、点二列相关系数（ point biserial correlation)
其中 p为该题通过率
q为该题未通过率
为通过该题的那部分人测验总分的平均值
为未通过该题的那部分人测验总分的平均值
St 为全体被试测验总分的标准差
pq)S X-X(r
t
qp
pb ?
pX
qX
[例 ]
学
生 A B C D E F G H I J K L M N O
总
分 65 70 31 49 80 50 35 10 81 69 78 55 77 90 42
对
错 0 1 0 1 1 0 1 0 0 1 1 0 1 1 0
53.0158P ?? 47.053.01q ???
48.047.053.0
72.21
71.4750.68
72.21
71.4750.68
8
90.......804970
??
?
?
?
??
????
?
pb
t
qp
r
S
XX
30树木树人 求是求新
中南林学院人力资源管理教研室 主讲：陈爱吾
第三节 题目分析
三、选项分析
备选项 A B C D*
人数比例 55% 5% 10% 30%
