第十二章 非抽样误差
(1)无回答现象 ;
(2)由工具或人为因素造成的调查误差,即所谓计量误差 ;
(3)在登录数据或输入计算机时发生的差错等等,
抽样调查中存在各种各样的非抽样误差,主要表现在,
§ 1 抽样方案及抽样框引起的非抽样误差
抽样调查从一开始就必须注意尽量避免非抽样误差,正
如本教材第一章所述,抽样设计方案对于抽样结果是否精确
起着很重要的作用,一个设计很差的抽样方案将会带来足以
使抽样失败的非抽样误差,第一章中提到的《文学摘要》民
意测验则是一个有说服力的实例。
美国《文学摘要》对于 1936年美国总统选举进行了预
测,当时大多数观察家认为罗斯福会轻易获胜,而《文学
摘要》根据自己的抽样断定兰登与罗斯福的获胜比率将是
57%和 43%。然而却是罗斯福以 62%比 38%的绝对优势坐
上了总统宝座。与事实完全相悖的预测断送了这家原本颇
有名气的杂志的前程,不久它只得停刊就此, 关门大吉, 。
美国《文学摘要》发出了 1000万张调查表,收回了
200万张,花费了那么大的精力,收集了那么多的数据,
怎么会出那么大的错误呢?主要原因就是抽样框的选取。
原来它是按照电话簿和俱乐部成员的名单发出调查表的,
由此选取的样本明显地排斥穷人!因为当时一般穷人很少
拥有私人电话或隶属于哪个俱乐部( 1936年,美国大约有
1100万部住宅电话)。众所周知,经济地位在很大程度上
影响着政治态度:穷人压倒多数地倾向于罗斯福而有钱人
则偏向于兰登。《文学摘要》的样本反映不出这个社会现
实从而犯了致命的错误。
设计带来非抽样误差有很多表现在抽样框出了问题,第
一章中所述的《文学摘要》的抽样框明显地偏向于某一部分
人而忽略了另一部分人,从中产生的非抽样误差使得抽样结
果不能反映总体(全体选民)的意见。这种致命的错误来源
于抽样框“丢失”了总体中占有一定比例的单元,如果这一部
分被“丢失”的群体在调查关心的参数方面有其独特的一面,
那么这种“丢失”引起的非抽样误差使推断或估计带有明显的
偏性。
如果我们的抽样方案是分层抽样,分层抽样不太可能按照
关心的总体参数去实施,而常常根据若干辅助信息来进行,当
然这些辅助信息与调查变量应当有较强的相关程度。倘若这些
辅助变量资料不健全,不准确甚至借用这些辅助变量本身属于
判断失误,由此引起的非抽样误差可能会严重威胁到估计的准
确性。
有时候陈旧的抽样框将带来我们所不希望看到的非抽
样误差,因为陈旧的抽样框会造成总体单元的, 丢失, 现
象,一般地它还难以反映近期有关变量的一些变化。
以上所述的非抽样误差属于在抽样之前的设计方案工
作及编制抽样框中需要认真对待的。本章就抽样过程中产
生的非抽样误差进行详尽的讨论。
§ 2 无回答现象
在设计方案相当合理,编制的抽样框令人十分满意的
情况,无回答现象的发生是非抽样误差表现的主要形式之
一。无回答类型通常可归结为:
( 1)遗漏。由随机抽样所确定的调查单位出现, 找不到,
现象,或者由于客观存在的一些困难,诸如交通极端不便,
气候异常恶劣等而无法找到确定要去访问的对象。
( 2)被调查对象不在家。有时候可以请家庭中其他人甚至
就近换一家进行访问,这样的做法虽然方便,但是在一定
程度上破坏了随机性。有时候为了确保抽样的随机性,
,不在家, 就造成了, 无回答, 。
( 3)不能回答。某些被访问者对于问卷中的若干问题缺乏
有关资料或者出于各种各样的原因而不愿意回答。
( 4)坚决拒绝调查。这是由于各种原因造成的,尤其是有
些问题涉及到个人隐私等等,由此产生的偏差一般较难消
除。
造成无回答现象的原因有许许多多,但一般地,由政
府部门出面组织的抽样调查常常能得到被调查者的友好合
作,这种情况下无回答现象的比例相对地较少,然而对于
一般的市场信息调查等非政府组织的抽样调查无回答现象
比例非常的高。随着我国社会主义市场经济的发展和完善,
这种情况正在逐步得到改善。
其实调查人员的素质,调查问题的拟定,被调查人员
的文化素质等等都对无回答率有一定影响。每件抽样调查,
我们需要力求低比率的无回答现象,从目前来看,完全避
免无回答现象是不可能的。对于无回答现象产生的非抽样
误差我们关心的是:
1、问卷的回收率
调查报告一般要求列出回收率,尤其是通过邮寄方式
进行的调查,更需如此。因为回收率的高低将有力地论证
调查的成功与否。
对回收率的分析将有助于在无回答现象较严重的情况
下进行数据分析,同时也有助于分析出哪些对象是可以再
访问从而采取多次访问的手段尽量减少无回答率。
2、如何进行数据分析
设抽样容量为 n,无回答个数为,那么我们的实际
调查量为 。根据 个有效数据分析将比原定的
计划少了很多信息。如果这 个访问到的对象是从原定的
对象中随机无放回地抽取的,那么推断的结果只是精度上
的损失,至于估计量的一些良好性质,例如无偏性等仍然
保留。
2n
12n n n?? 1n
1n
然而事情并非这样地如意,无回答者常常拥有某些特
征以致对调查的问题持有特定的态度,因此依据 个回答
数据所作出的推断往往带有偏性。以总体平均数的估计为
例,我们面临的情况相当于总体中 N 个单元划分为两部
分,—— 回答者,—— 无回答者。倘若抽样方式是
简单随机的,那么 与 的比例理应相当于 与 的比例。
这两部分的平均数分别记为 和,于是总体平均数为:
1n
1N 2N
1N 2N2n1n
2Y1Y
12
1 2 1 1 2 2
NNY Y Y W Y W Y
NN? ? ? ?
(12.1)
根据, 回答者, 部分的平均数 是 的无偏估计,用 估计
显然会产生偏倚:
1y 1y1Y Y
1 1 1 2 2 2 2 1( 1 ) ( )Y Y W Y W Y W Y Y? ? ? ? ? ?
(12.2)
这个偏倚中,与 是可以利用调查得到的数据进行估计
的,但是由于, 无回答,, 是根本无法获知其信息的,因此
要对估计量 给于, 纠偏,,其难度极大,尤其是在 较大时
也就是, 无回答者, 占有相当大比例时,连 的置信限都难于
得到。
2W 1Y
2Y
1y 2W
2Y
在有些实例中,人们只能对偏倚作出一些猜测,这些
猜测有时候可以根据一些历史的资料作出,有一定的参考
价值;但是有时候凭主观作出的猜测无法证实其正确性,
因此利用它来, 纠偏, 缺乏依据也缺乏精确度,这显然归
因于无回答现象带来的恶果。
( 1)对某些问题无回答的数据以该问题回答数据的平
均数来代替;
( 2)从对某问题回答的 个数据中作 次随机有放回
的抽样,以填补 个无回答者的数据。
1n 2n
2n
然而在用计算机处理抽样数据时,不单单是简单地用
去代替 或者最多给出一定量的纠偏。众所周知,抽样调
查一般不止问一个问题,我们的问卷经常围绕调查的目的
而设置一系列问题,我们遇到的无回答现象经常表现为:
全部问题无回答或部分问题无回答。在部分问题无回答者
中,将会呈现回答问题的多少以及哪些问题无回答的复杂
情况,这给计算机处理及整体推断带来一定的困难。有些
学者提出对于这样的, 丢失, 数据能否人为地补缺,如果
对无回答对象一无所知的情况下,我们可以采取下述措施:
1Y
Y
上述做法还是相当于从 个回答者的数据出发对总体
作出推断,但是在计算机上整体考虑来说是作为 个样本
来处理的,给整体全面的推断带来某种方便,且也具有一
定合理性,因为我们的抽样调查本身是要求 个均有回答
的。然而这样的处理在精度上如何计算,或者说新构成的
估计量方差如何估计,国外的一些统计学家曾作过研究与
进一步的探索。
1n
n
n
3、多次访问
为了缩小无回答所引起的偏差,减少无回答的数量,
有必要采取一些措施,例如对访问者的培训,对敏感问题
的适当处理以消除被访问者的疑虑,调查前作好充分的准
备工作等等,采用多次访问是个有效的方法。当然,对于
那些, 坚决拒绝回答者, 来说,多次访问很难奏效,但是
对于那些, 不在家, 或, 不能回答, 原因的无回答者应当
有不小的作用。
实际工作表明,多次访问的确能做到减少无回答率,
随之而引出的问题是承担的费用问题。一般地,抽样方案
设计中会留下一部分经费用于, 再访问, 以便提高回答率。
所谓多次访问不可能, 许多次,,因为随着访问次数的增
加,每次的回收率将随之减少,因此, 许多次, 是不必要
的。另外在再次访问时,最好的办法是换一个访问员独立
地对前一次无回答者进行访问,这样常常可以收到很好的
效果。
4,Polize— Simmons较正
如果由于条件的限制,只能进行一次调查,如何较正
由于无回答而引起的误差呢? Polize— Simmons对总体平
均数提出的建议对我们有一定的参考价值。
假定所有访问者均是在除周日以外的 6个晚上进行,对
于每一个实际被调查者在答完问卷以后再附带询问一个问
题:, 除周日之外,您在今晚以前的 5个晚上有几天在家?,
这个问题的如实回答实际上告诉了访问员关于他晚上在家
的频率 的一个大致估计,(其中 是被调
查者回答的天数)。
? ? ( 1 ) 6t? ?? t
根据调查的结果可以将被访问人分为 6部分,
即 。设每个部分含有 个人。显然,越大,
就越大,对应此 的组入样的可能性就越大,这样该部分
的平均数 在估计总体平均数的过程中应当赋予与该组在
家频率 相适应的权。
0,1,,5t ? tn t ??
t
ty
?
这种思想实质上类似于不等概率抽样时的平均数估计。
按照这种加权平均的思想,我们将原先的样本平均数(当
然是基于被调查到的样本) 调整为所谓 Polize-Simmons
估计量,
Y
55
00
55
00
6 ( 1 ) ( 1 )
6 ( 1 ) ( 1 )
t t t t
tt
PS
tt
tt
n y t n y t
Y
n t n t
??
??
??
??
??
??
??
(12.3)
Polize-Simmons较正在直观上有合理的解释:某些调查指
标 —— 诸如生活费用的平均年收入或年支出 —— 与被调查
者是否容易找到是较强相关的两个因素。如果不采用加权
平均数而采用被调查者的平均数,那么所得到的估计就相
对地突出了那些容易被找到的人的影响,而掩盖了另一部
分不容易找到的人的影响。
P-S较正采用加权平均对偏差作了一定程度上的较正。
当然所利用的权
? ? ? ?5
0
( 1 ) ( 1 )tt
t
n t n t
?
???
本身是通过抽样调查的数据估算出来的,它将无可质疑地
影响到估计量的方差(增大),对估计的精度付出代价,
但是我们毕竟不要再花费时间、精力和费用去作多次访问
并达到纠偏的作用。
§ 3 计量误差
计量误差是又一种重要的非抽样误差。由于计量工具
的不够精确,或由于调查人员工作的粗糙失误,或者是数
据处理人员的马马虎虎,都有可能造成调查所得数据与真
值之间的不一致。这样的计量误差(或称调查误差)将严
重地威胁到抽样推断。本节还要简略讨论到另一种调查误
差,那就是人为的, 虚假, 数据,数据的伪造与虚假干扰
了我们的调查与推断,有时候会发生不堪设想的严重后果。
1、设计引起的误差
因为方案以及问卷的设计引起偏差的问题,我们已经
在第一章中较为详尽地阐述过,本节稍稍谈论由此引起的
计量方面的误差。
在调查咨询方面取得极大成功的盖洛普十分强调问卷
设计中的用词,用词欠妥有可能引起调查结果在计量方面
显著的不同,足以例证的当推 Rugg试验:
问题甲:, 您认为美国应当禁止反对民主的公开言论
吗?, 其结果是 54%的人赞成。
问题乙:, 您认为美国应该允许反对民主的公开言论
吗?, 结果是 75%的人不赞成。
两个问题表示美国多数以上的人不同意在美国有公开
反对民主的言论,但比例为 54,75,相距甚远。既然人们
倾向于不允许反对民主的公开言论,但, 禁止, 两字使不
少人感到这与, 民主及言论自由, 有相悖之处。这里面涉
及到美国的国情、美国人的心理承受等各种因素。
当然,要想完全避免问题设计引起的计量上的误差很
难做到,因此我们主张有时候可以做些小范围的试调查,
从而调整我们的各种用词。
2、调查员误差
对于一个对象的访问,如果不存在调查员方面的问题,
照理调查所取得的数据与真值之间只有随机误差,因此从
理论上讲,只要对该对象多次访问再取平均数则可以基本
上, 抵消, 随机误差的影响。然而由于调查员方面引起的
误差(通常称为系统误差)不可能通过多次访问而抵消。
调查员误差常常归因于:
( 1)调查员本身的素质,倘若一个调查员工作粗糙、
登录马虎等,则会引起不必要的差错。有些调查员只在调
查中将对象提供的以前的或公开的资料照抄,殊不知这些
以前的或公开的数据与现在要调查得到的数据之间有时是
存在差异的,这样的误差当然是由调查员而引起的。
( 2)调查员的诱导引起的调查误差。调查员为了将问
题展开下去,常启发被调查人员,或做一些示范暗示,做
一些比喻,言语与动作之间常带有调查员本身的一些想法
愿望等,只要回答的结果不对被调查人员的生活及其他带
来不利影响的话,有些被调查人员就会自然地顺着调查员
的思路回答问卷。
( 3)调查员按照被调查人员给自己留下的初步印象而
推测填写问卷。不能否认,调查员本身是生活在社会中的
一员,对许多事情有自己的思想,会作出自己的判断。被
调查人员的年龄、性别、社会职业、家庭收入,以及一进
门就可看到的家庭摆设、卫生状况,甚至被调查人员的容
貌等都会给调查人员一个较深刻的印象,在问卷中有些不
清楚的问题,或者需要被调查人员讲述一些观点而由调查
员记录下来的内容,都有可能由于调查员认为这样的人必
定如何回答该问题的印象而引起误差。
或者调查员根据先前对其他人的访问留下的印象,比
如对某问题持赞成者多,那么这种印象也很有可能成为他
采访下一个对象时已经形成初步结论。
以上这些调查员误差都是属于系统误差,称为偏差,
不可能通过大量访问或多次访问加以克服。要尽可能地避
免或减少调查员误差就必须挑选合格称职的调查员,并且
对调查员预先进行培训,讲清楚注意点,尤其是要向调查
员反复强调职业道德。另外抽样调查的督导十分重要,督
导的作用是检查调查质量,并从中抽取少部分进行核查访
问以评估调查的质量。核查通常采用电话方式,若上门核
查则常常采用调查员之间交叉核查的办法。
3、被调查人员误差
被调查人员误差虽然需要, 防治,,但有些是可以原
谅的,例如被调查者对问题的理解发生差错就是一例,当
然如果是调查员上门访问,那么这种差错就容易及时更正,
但如果是邮寄问卷等则无法纠正了。另外,有不少事情是
需要被调查人员回忆后再回答的,它不像, 什么时侯出
生,,, 何地出生,,, 家中有几口人, 等这些问题既简
单且不易发生差错。
有些事情,时间比较长且又比较复杂,回忆有一定的
困难,差错也是难免的。对于这种类型的差错,一般要求
调查员有耐心地等待,给予一定的回忆时间。倘若被调查
人员身体不适、情绪欠佳,或者调查环境使人烦躁等都会
引起回答误差。
另一类由被调查人员引起的调查误差是不可原谅的,
那就是被调查人员, 谎报军情, 提供虚假数据。这里面有
一部分人因为牵涉到一些敏感性问题而不愿如实回答,对
于敏感性问题的巧妙处理将在下一节进行讨论。但是,在
我国的确存在着虚报瞒报、篡改统计数据等现象,使国家
统计局掌握统计信息,反映我国国民经济发展及社会运行
状况工作遇到人为麻烦。因此,广泛宣传统计法,加强对
统计法执行的力度已经刻不容缓。
关于样本数据是否虚假,存在一个发现与判断的问题,
往往只有比较样本数据的整体变化才有可能确定,或者可
以利用历史样本以及经验进行判断。
例如,如果我们发现某村申报小麦亩产量为 500公斤,
从该村历史上的小麦亩产量以及周围地区的小麦亩产量的
抽样数据,也许我们会很果断地判定它的虚假性。一般来
说,抽样调查总是调查一批数据,是多参数的,各参数之
间存在一定的相关,根据历史资料等有时可以估算到相关
程度,即使是粗略估计也能有助于我们及时发现虚报数据,
在数值上利用计算机作出判断是人们感兴趣的研究课
题,它其实与对抽样的质量评估紧密地联系在一起。简单
地说,设 为抽样获得的数据,从这几个对象中
随机选取一个子集进行再调查,两次调查的数据分别记为
和 。
12,,,ny y y
12,,,ki i iy y y
12
* * *,,,
i i iky y y
( 1)比较这两组数据之间的差异,它在某种程度上可
以鉴别真伪性,同时也对整个抽样的质量进行适当评估。
( 2)利用,对总体参数的估计量为,
利用 对总体参数相应的估计量记为,
与 之间的差异可以评估抽样推断的质量,同时也可以检
测即使有虚假数据存在可能是否会影响到整体的估计。
12,,,ny y y
12
* * *,,,
i i iky y y
?n?
?n?*?k?
*?k?
在处理数据过程中,一旦发现虚假数据,通常采用的
处理手段是:删去或重新调查。删去数据必须小心谨慎,
如果确定是虚假数据,那么毋庸置疑地剔除。但是在实际
情况中有些数据看起来相当, 异常,,而且在历史资料中
似乎也从未发生过,大有, 虚假, 之嫌,而它也许是真实
的。例如某县遭到史无前例的天灾,那么在该年该县的农
产量便会呈现极度异常值,像这样的虽异常但真实的数据
是不应该轻易剔除的,因为每一个数据为我们提供了一定
的信息,轻易地丧失信息将严重地威胁到估计的精度。
§ 4 敏感性问题的调查
在社会经济调查中经常会出现一些敏感性的或高度私
人绝密的问题。例如对于青少年吸毒问题的调查,吸毒是
个敏感性问题,几乎没有一个吸毒的青少年会向公安部门
或政府机构的调查者袒露自己的吸毒行为。又如科技人员
的流向或有关流向意愿,国家人事部门为了掌握有关人才
流动信息曾作过抽样调查,但是被调查者未必愿意在正式
流动之前表白自己的意向,否则也许会在原工作单位造成
不必要的麻烦。调研工作者很希望设计一种办法既使被调
查者不担心暴露隐私,又使调查者获得正确的资料,这就
是本节所要介绍的两种处理敏感问题的方法。
1,Warner装置
针对有些问题仅有, 是, 或, 否, 两种回答而我们的
目的是获取总体中, 是, 的比例这样的调查,Warner设计
了一种随机化装置,基本想法如下:
对于 n 个对象中的每一个以概率 P 与 1-P 就关心的
敏感性问题提出两个截然相反的回答,例如, 我赞成某事,
或, 我不赞成某事,,任何一个对象面对任何一个回答只需
回答, 是, 或, 否, 。
Warner装置的巧妙之处在于调查人员无法知道被调查
人员回答了哪个问题,要做到这一点并不困难,只要准备
几张无差异的折叠纸条,以概率 P 与 1-P 在纸条上写上
述两个问题。被调查者随机地摸出一张纸条打开,但是调
查员不允许查看纸条上书写哪个问题,被调查者针对他所
摸到的那个问题如实回答,若回答, 是,,则以红球投进
一密闭口袋,若回答, 否,,则投之于白球,整个投球过
程也不让调查员看到,调查员唯有在整个过程结束后打开
口袋查点红白球个数。这种装置使被调查者确信不会泄漏
自己的态度从而如实投球。
现在假定最后打开口袋发现 n 个球中有 m 个红球,
可知总体对两个截然相反问题回答, 是, 的比例中的一个
估计量为:,由概率论知识,有? mn??
其中 是总体中, 赞成某事, 的真正比例,也就是我们所要估
计的参数。由于 P 是调查人员预先自行确定,可以估计
只要,可从上式得:
?
?
12P ?
12P ? 从数学表达式看是一目了然的。其实直观来看,
12P ? 时,意味着两个截然相反的问题完全混淆在一起,
使我们无法估计真正的参数 。?
? ( 1 ) 1?
()2 1 2P PP? ? ? ????
(12.5)
( 1 ) ( 1 ) ( 2 1 ) ( 1 )P P P p? ? ?? ? ? ? ? ? ? ? ?(12.4)
容易计算得:
22
( 1 ) ( 1 ) ( 1 )?()
( 2 1 ) ( 2 1 )
PPV a r
n P n n P
??? ? ? ? ? ?? ? ?
??
(12.6)
如果对 n 个被调查人员都提问, 您赞成某事吗?,,且设想
这 n 个人均如实回答了这个敏感性问题,这样得到 的估
计具有方差,恰好为 (12.6)式右端第一项。而第
二项恒为正说明用 Warner 装置将比理想调查的精度差得多
,但是对于敏感性问题来说,理想调查是不现实的,而此方
法毕竟可以粗略地解决这个难题。
(1 ) n???
?
2,Simons问题
Warner装置是使被调查人员确信, 安全性, 从而采取合
作态度。 Simons提出如果我们将第二问题改为与第一个敏
感性问题风马牛不相及的问题也许可以进一步改进被调查
者的合作态度。
第二个问题的要求是,( 1)与第一个问题毫不相干;
( 2)该问题也只有, 是, 与, 否, 两个回答;( 3)回答
,是, 的比例是已知的。例如对青少年吸毒问题的调查,在
Simons装置中,第一个问题是, 你吸毒吗?,,第二个问题
是, 你是左撇子吗?,,根据有关资料,我们知道左撇子在
社会中的大概比例为,现在:*?
*( 1 )PP??? ? ? ? (12.7)
于是 *? ( 1 )? P
P
?? ??? (12.8)
2
( 1 )?()V a r
nP?
? ? ?? (12.9)
有人证明,当 但 时,Simons方法比 Warner
方法有较高的精度。
1
3P ?
1
2P ?
也许我们提出的第二个问题的 无法估算,那么我们
可以在实际中采用两组样本均实施 Simons方法,两组样本
中提出敏感性问题(第一个问题)的比例不同,分别为
与,那么我们有两个关系式:
*?
1P
2P
*1 1 1( 1 )PP??? ? ? ? (12.10)
*2 2 2( 1 )PP??? ? ? ? (12.11)
这样可以得到 的估计:?
?? ? 12
12
? ( 1 )P
PP
??
?
21? (1 )P? ? ? (12.12)
当然也可以得到 的估计。*?