上一页 下一页湘潭大学数学与计算科学学院 1
§ 4.1 统计决策的基本概念
一, 统计判决问题的三个要素
为了估计一个未知参数,需要给出一个合适的
估计量,该估计量也称为该统计问题的解。一般地
说,一个统计问题的解就是所谓的统计决策函数。
为了明确统计决策函数这一重要概念,需对构成一
个统计决策问题的基本要素作一介绍。这些要素是:
样本空间和分布族;行动空间以及损失函数 。以下
逐点介绍。
上一页 下一页湘潭大学数学与计算科学学院 2
1.样本空间和分布族
定义 设总体 X 的分布函数为 ( ; )Fx ?,
?
是未知参数 ? ??, ?
称为参数空间。 若 12
(,,,)
n
X X XL
为取自总体
X
的一个样本,
则样本所有可能值组成的集合称为 样本空间,记为 S,由
于 i
X
的分布函数为
( ; ),1,2,,
i
F x i n? ? L
,则
1
(,,)
n
XX L
的联合
分布函数为
1
1
(,,; ) ( ; ),
n
ni
i
F x x F x? ? ?
?
? ? ?
?
L
若记
1
( ; ),
n
i
i
F F x ??
?
?
??
? ? ?
??
??
?
,则称
*
F
为样本
1
(,,)
n
XX L
的 概率
分布族,简称 分布族 。
上一页 下一页湘潭大学数学与计算科学学院 3
例 4, 1 设总体 X 服从两点分布 ( 1,)Bp, p 为未知参数,
01 p??, 1(,,)nXX L 是取自总体 X 的样本,则样本空间是集合
? ?1(,,), 0,1,1,2,,nix x x i n? ? ?LL 。
它含有 2
n
个元素,样本 1(,,)nXX L 的分布族为
11* ( 1 ) 0.1,1,2,,,0 1
nn
ii
ii
x n x
i
F p p x i n p??
?????
??
? ? ? ? ? ???
??
L

上一页 下一页湘潭大学数学与计算科学学院 4
2.决策空间(或称判决空间)
对于一个统计问题,如参数 ? 的点估计,一个具体的估
计值就是一个回答。在统计决策中,每一个具体的回答
称为一个 决策,一个统计问题中可能选取的全部决策组
成的集合称为 决策空间,记为
*E
。一个决策空间
*E

少应含有两个决策,假如
*E
中只含有一个决策,那人们
就无需选择,从而也形成不了一个统计决策问题。
上一页 下一页湘潭大学数学与计算科学学院 5
例如,要估计正态分布 2(,)N ?? 中的参数
,(,)?? ? ? ? ? ? ? ?。因为 ? 在 (,)? ? ? ? 中取值,所以
每一个实数都可用来估计 ?,故每一个实数都代表一个
决策,决策空间为 (,)? ? ? ? ? 。
值得 注意 的是,在 中具体选取那个决策与抽取的样本
和所采用的统计方法有关。
例 4.2 某厂打算根据各年度市场的销售量为决定下年度
应该扩大生产还是缩减生产,或者维持原状,这样决策
空间 为 ? ?? 扩 大 生 产, 缩 减 生 产, 维 持 原 状
上一页 下一页湘潭大学数学与计算科学学院 6
3.损失函数
统计决策的一个基本观点和假定是,每采取一个决策,必
然有一定的后果(经济的或其他的),决策不同的,后果
各异。对于每个具体的统计决策问题,一般有多种优劣不
同的决策可采用。
例如,要估计正态分布
2
(,0, 2 )N ? 中
的参数 ?,假设 ? 的真值为 3,那么采用 3.5 这个决策显
然比 10 这个决策好的多。 如果要作 ? 的区间估计,则显
然 [2.4] 这个决策比 [ - 5, 10] 这个决策好。
上一页 下一页湘潭大学数学与计算科学学院 7
统计决策理论的一个基本思想是把上面所谈的优劣
性,以数量的形式表现出来,其方法是引入一个依赖于参
数值 ? ?? 和 决 策 *dE ? 的 二 元 实 值 非 负 函 数
(,) 0Ld ? ?,称之为 损失函数,它表示当参数真值为 ? 而
采取决策 d 时所造成的损失,决策越正确,损失就越小。
由于在统计问题中人们总是利用样 本对总体进行推断,所
以误差是不可避免的,因而总会带来损失,这就是损失函
数定义为非负函数的原因。
上一页 下一页湘潭大学数学与计算科学学院 8
例 4.3 设总体 X 从正态分布 (,1 )N ?, ? 为未知参数,参数
空间 (,)? ? ? ? ? ?,决策空间自然地取为 *E (,)? ? ? ? ?,
一个可供考虑的损失函数是
2(,) ( )L d d?? ??当 d ??,即估计正确时损失为 0,估计 d 与实际值 ? 的距离
d ?? 愈大,损失也愈大。
如果要求未知参数 ? 的区间估计,损失函数可取为
2 1 1 2(,) ( ),,[,]L d d d d d d??? ? ? ? ? ?
上一页 下一页湘潭大学数学与计算科学学院 9
其中 ? ?1 2 1 2[,],d d d d? ? ? ? ? ? ?,这个损失函数表示以
区间估计的长度来度量采用决策 12[,]d d d? 所带 来的损
失,也可以取损失函数为
12[,] 1 2(,) 1 ( ),,[,]ddL d I d d d? ? ?? ? ? ? ? ?
其中 12[,] ()ddI ? 是集合 12[,]dd 的示性函数,即
12
12
[,]
12
0,[,]
()
1,[,]
dd
dd
I
dd
?
?
?
??
? ?
??
当 时,
当 时,
这个损失函数表示当决策 d 正确(即区间 12[,]dd 复盖未知
参数的实际值)时损失为 0,反之损失为 1 。
上一页 下一页湘潭大学数学与计算科学学院 10
对于不同的统计问题, 可以选取不同的损失函数, 常见
的损失函数有以下几种 。
( 1)线性损失函数
0
1
( ),,
(,)
( ),,
k d d
Ld
k d d
??
?
??
???
? ?
??? ( 4,1 )
其中 0k 和 1
k
是两个常数,它们的选择常反映行动 d 低于参
数 ? 和高于参数 ? 的相对重要性,
当 01kk ? 时就得到,绝对值损失函数
(,) ( )L d d? ? ? ??? 。 ( 4.2 )
上一页 下一页湘潭大学数学与计算科学学院 11
( 2 )平方损失函数
2(,) ( )L d d?? ??
。 ( 4.3 )
( 3 )凸损失函数
(,) ( ) ( )L d W d? ? ? ???
,( 4.4 )
其中 ( ) 0?? ? 是 ? 的已知函数,且有限,()Wt 是 0t ? 上的单
调非降函数且 ( 0) 0W ? 。
( 4 )多元二次损失函数,当 ? 和 d 均为多维向量时,可取
如下二次型作为损失函数。
(,) ( ) ( )L d d A d? ? ?? ? ? ( 4.5 )
其中 11
(,,),(,,)
pp
d d d? ? ??? LL
,A 为
pp ?
阶正定矩阵,p
为大于 1 个某个自然数。
上一页 下一页湘潭大学数学与计算科学学院 12
当 A 为对角阵即 1(,,)pdi ag ???A L 时,则 p 元损失函数为
2
1
(,) ( )
p
i i i
i
L d d? ? ?
?
???
,( 4.6 )
其中诸
( 1,2,,)
i
ip? ? L
可看作各参数重要性的加权。
将统计决策方法用于实际问题时,如何选择损失函数 是
一个关键问题,也是一个难点。一般来说,选取的损失
函数应与实际问题相符合,同时也要在数学上便于处理。
上面提到的二次损失(又称为平方损失)函数是参数点
估计中常用的一种损失函数。
上一页 下一页湘潭大学数学与计算科学学院 13
二、统计决策函数及其风险函数
1.统计决策函数
给定了样本空间 S 和概率分布族 *F,决策空间 及
损失函数
(,)Ld ?
这三个要素后,统计决策问题就确定了,
此后,我们的任务就是在
*
E 中选取一个好的决策 d,所谓
好是指有较小的损失。对样本空间 中每一点
1
(,,)
n
x x x? L

可在决策空间中寻找一点 ()dx 与其对应,这样一个对应关
系可看作定义在样本空间 S 上面取值于决策空间
*
E 内的
函数 ()dx 。
上一页 下一页湘潭大学数学与计算科学学院 14
定义 4,1 定义在样本空间 S 上,取值于决策空间 内的
函数 ()dx,称为统计决策函数,简称为决策函数。
形象地说,决策函数 ()dx 就是一个“行动方案”。当
有了样本
x
后,按既定的方案采取行动(决策) ()dx 。在
不致误解的情况下,也称 1
( ) (,,)
n
d X d X X? L
为决策函
数,此时表示当样本值为 1
(,,)
n
x x x? L
时采取决策
1
( ) (,,)
n
d x d x x? L
,因此,决策函数
()dx
本质上是一个
统计量。
上一页 下一页湘潭大学数学与计算科学学院 15
例如,设总体 X 服从正态分布 22(,),N ? ? ? 已知,
1(,,)nXX L
为取自 X 的样本,求参数 ? 的点估计。此时可用
1
1
()
n
i
i
d x x x
n ?
?? ? 来估计,( )d x x? ? 就是一个决策函数。
如果要求 ? 的区间估计,那么
22
( ),d x x u x u
nn
??
????
? ? ???
??
就是一个决策函数。
上一页 下一页湘潭大学数学与计算科学学院 16
2.风险函数
给定一个决策函数
()d X
之后,所采取的决策完全取决于样

X
,从而损失必然与
X
有关,也就是说决策函数与损失
函数 (,)Ld ? 都是样本
X
的函数,因此都是随机变量。当样

X
取不同的值
x
时,对应的对策
()dx
可能不同,由此带
来的损失
(,( ) )L d x?
也不相同,这样就不能运用基于样本
x

采取的决策而带来的损失
(,( ) )L d x?
来衡量决策的好坏,而
应该从整体上来评价。为了比较决策函数的优劣,一个常
用的数量指标是平均损失,即所谓的风险。
上一页 下一页湘潭大学数学与计算科学学院 17
定义 4,2 设样本空间和分布族分别为 S 和 *F,决策
空间为 *E,损失函数为 (,),( )L d d X? 为决策函数,则由下式
确定为 ? 的函数 (,)Rd ? 称为决策函数 ()dX 的风险函数
1(,) [ (,( ) ) ] [ (,(,,) ) ]nR d E L d X E L d X X??? ? ??? L
,( 4.7 )
(,)Rd ? 表示当真参数为 ? 时,采用决策(行动) d
所蒙受的平均损失,其中 E ? 表示当参数为 ? 时,对样本
的函数 (,( ))L d X? 求数学期望。 显然风险越小,即损失越
小决策函数就越好。
上一页 下一页湘潭大学数学与计算科学学院 18
但是,对于给定的决策函数 ()dX,风险函数仍是 ? 的函数,
所以,两个决策函数风险大小的比较涉及两个函数的比
较,情况比较复杂,因此就产生了种种优良性准则,下面
仅介绍两种。
定义 4.3 设 1 ()dX 和 2 ()dX 是统计决策问题中的两个
决策函数,若其风险函数满足不等式
12
(,) (,),R d R d? ? ?? ? ? ?

且存在一些 ? 使上述严格不等式 12(,) (,)R d R d?? ? 成立,则称
决策函数 1
()dX
一致优于 2
()dX

上一页 下一页湘潭大学数学与计算科学学院 19
假如下列关系式成立
12
(,) (,),R d R d? ? ?? ? ? ?,
则称决策函数 1 ()dX 与 2 ()dX 等价 。
定义 4.4 设 ? ?
()D d X?
是一切定义在样本空间取值于决
策空间 *E 上的决策函数的全体,若存在一个决策函数
*( ) ( ( ) )d X d X D? ?,使对任一个
()d X D?,都有
*
(,) (,),R d R d? ? ?? ? ? ?
则称 * ()dX 为(该决策函数类 的) 一致最小风险决策函
数,或称为 一致最优决策函数 。
上一页 下一页湘潭大学数学与计算科学学院 20
注意,上述两个定义都是对某个给定的损失函数而言
的,当损失函数改变了,相应的结论也可能随之而变。
定义 4.4的结论还是对某个决策函数类而言的。当决
策函数类改变了,一致最优性可能就不具备了。
则对 ? 的任一估计 ()dX,风险函数为
2(,) [ (,) ] ( )R d E L d E d
??? ? ?? ? ? 。
例 4,4 设总体 X 服从正态分布
12
(,1 ),(,),(,,,)
n
N X X X X?? ? ? ? ? ? ? L
为取自 X 的样本,
欲估计未知参数 ?,选取损失函数为
2
(,) ( )L d d?? ??
,
上一页 下一页湘潭大学数学与计算科学学院 21
若进一步要求 ()dX 是无偏估计,即 [ ( ) ]E d X? ??,则风险
函数是
2
(,) ( ) ( ( ))R d E d Ed D d X
??
? ? ? ?,
即风险函为估计量 ()dX 的方差。
若取 ()d X X?,则
1(,)R d D X
n
? ?? 。
若取 1()d X X?,则 1(,) 1R d D X? ?? 。
显然,当 1n ? 时,后者的风险比前者大,即 X 优于 1X 。
上一页 下一页湘潭大学数学与计算科学学院 22
例 4,5 设 1x 和 2x 是从下列分布获得的两个观察值
( 1 ) ( 1 ) 0, 5,= RP X P X? ? ?? ? ? ? ? ? ? ?,
现研究 ? 的估计问题。
为此取决策空间 R?,取损失函数为
(,) 1 ( )L d I d? ??,
其中 ()Id 为示性函数,当 d ?? 时它为 1,否则为 0 。
我们知道,从样本空间 ? ?12(,)xx? 到决策空间 上的
决策函数有许多,现考察其中三个。
上一页 下一页湘潭大学数学与计算科学学院 23
( 1 ) 1 1 2 1 2(,) ( ) / 2d x x x x??,其风险函数为
1 1 1 2(,) 1 ( ) 1 ( ) 0, 5,R d P d P x x? ? ?? ? ? ? ? ? ? ? ? ? ; ( 2 ) 2 1 2 1(,) 1d x x x??,其风险函数为
2 2 1(,) 1 ( ) 1 ( 1 ) 0.5,R d P d P x? ? ? ?? ? ? ? ? ? ? ? ? ? ? ;
( 3 )
1 2 1 2
3 1 3
1 1 2
( ) / 2,,
(,)
1,,
x x x x
d x x
x x x
???
? ?
???
其风险函数为
3 3 1 2 1
(,) 1 ( ) 1 ( 1 ) 0.2 5,R d P d P x x x? ? ? ?? ? ? ? ? ? ? ? ? ? ? ?或,
上一页 下一页湘潭大学数学与计算科学学院 24
假 如 只 限 于 考 察 这 三 个 决 策 函 数 组 成 的 类
? ?
1 2 3
,,D d d d?
,那么 3d 是决策函数类中一致最优决策
函数,当决策函数类扩大或损失函数改变时,3d 的最优
性可能会消失。