主成分分析一项十分著名的工作是美国的统计学家斯通
(stone)在 1947年关于国民经济的研究 。 他曾利用美国 1929一 1938年各年的数据,得到了 17个反映国民收入与支出的变量要素,例如雇主补贴,消费资料和生产资料,纯公共支出,净增库存,股息,利息外贸平衡等等 。
§ 1 基本思想在进行主成分分析后,竟以 97.4％ 的精度,
用三新变量就取代了原 17个变量 。 根据经济学知识,斯通给这三个新变量分别命名为总收入 F1,总收入变化率 F2和经济发展或衰退的趋势 F3。 更有意思的是,这三个变量其实都是可以直接测量的 。 斯通将他得到的主成分与实际测量的总收入 I,总收入变化率?I以及时间 t因素做相关分析,得到下表：
F1 F2 F3 I I t
F1 1
F2 0 1
F3 0 0 1
I 0.995 -0.041 0.057 l
Δ I -0.056 0.948 -0.124 -0.102 l
t -0.369 -0.282 -0.836 -0.414 -0.112 1
主成分分析是把各变量之间互相关联的复杂关系进行简化分析的方法 。
在社会经济的研究中,为了全面系统的分析和研究问题,必须考虑许多经济指标,这些指标能从不同的侧面反映我们所研究的对象的特征,
但在某种程度上存在信息的重叠,具有一定的相关性 。
主成分分析试图在力保数据信息丢失最少的原则下,对这种多变量的截面数据表进行最佳综合简化,也就是说,对高维变量空间进行降维处理 。
很显然,识辨系统在一个低维空间要比在一个高维空间容易得多 。
(1) 基于相关系数矩阵还是基于协方差矩阵做主成分分析 。 当分析中所选择的经济变量具有不同的量纲,变量水平差异很大,应该选择基于相关系数矩阵的主成分分析 。
在力求数据信息丢失最少的原则下,对高维的变量空间降维,即研究指标体系的少数几个线性组合,
并且这几个线性组合所构成的综合指标将尽可能多地保留原来指标变异方面的信息 。 这些综合指标就称为主成分 。 要讨论的问题是：
（ 2） 选择几个主成分 。 主成分分析的目的是简化变量,一般情况下主成分的个数应该小于原始变量的个数 。 关于保留几个主成分,应该权衡主成分个数和保留的信息 。
（ 3） 如何解释主成分所包含的经济意义 。
§ 2 数学模型与几何解释假设我们所讨论的实际问题中，有 p个指标，我们把这 p个指标看作 p个随机变量，记为 X1，
X2,…,Xp，主成分分析就是要把这 p个指标的问题，转变为讨论 p个指标的线性组合的问题，而这些新的指标 F1,F2,…,Fk(k≤p ），按照保留主要信息量的原则充分反映原指标的信息，并且相互独立。
pppppp
pp
pp
XuXuXuF
XuXuXuF
XuXuXuF
2211
22221122
12211111
这种由讨论多个指标降为少数几个综合指标的过程在数学上就叫做降维。主成分分析通常的做法是，寻求原指标的线性组合 Fi。
满足如下的条件：
122221 piii uuu?
pjijiFFC ov ji,，，，，，），（?210
)()( 21 pFV arFV arFV ar）（
主成分之间相互独立，即无重叠的信息。即主成分的方差依次递减，重要性依次递减，即每个主成分的系数平方和为 1。即
2x
1x
1F
2F
主成分分析的几何解释平移、旋转坐标轴
2x
1x
1F
2F
主成分分析的几何解释平移、旋转坐标轴
2x
1x
1F
2F
主成分分析的几何解释平移、旋转坐标轴
2x
1x
1F
2F
主成分分析的几何解释平移、旋转坐标轴
为了方便，我们在二维空间中讨论主成分的几何意义。
设有 n个样品，每个样品有两个观测变量 xl和 x2，在由变量
xl和 x2 所确定的二维平面中,n个样本点所散布的情况如椭圆状。由图可以看出这 n个样本点无论是沿着 xl 轴方向或 x2轴方向都具有较大的离散性，其离散的程度可以分别用观测变量 xl 的方差和 x2 的方差定量地表示。显然，如果只考虑 xl和 x2 中的任何一个，那么包含在原始数据中的经济信息将会有较大的损失。
如果我们将 xl 轴和 x2轴先平移，再同时按逆时针方向旋转?角度，得到新坐标轴 Fl和
F2。 Fl和 F2是两个新变量。
根据旋转变换的公式：
c oss i n
s i nc os
211
211
xxy
xxy
xU
2
1
2
1
c oss i n
s i nc os
x
x
y
y
正交矩阵，即有为旋转变换矩阵，它是U?
IUUUU,1
旋转变换的目的是为了使得 n个样品点在
Fl轴方向上的离 散程度最大，即 Fl的方差最大。
变量 Fl代表了原始数据的绝大 部分信息，在研究某经济问题时，即使不考虑变量 F2也无损大局。经过上述旋转变换原始数据的大部分信息集中到 Fl轴上，对数据中包含的信息起到了浓缩作用。
Fl,F2除了可以对包含在 Xl,X2中的信息起着浓缩作用之外，还具有不相关的性质，这就使得在研究复杂的问题时避免了信息重叠所带来的虚假性。二维平面上的个点的方差大部分都归结在
Fl轴上，而 F2轴上的方差很小。 Fl和 F2称为原始变量 x1和 x2的综合变量。 F简化了系统结构，抓住了主要矛盾。
§ 3 主成分的推导及性质一、两个线性代数的结论
1,若 A是 p阶实对称阵,则一定可以找到正交阵 U,使
pp?
p
00
00
00
2
1
AUU
1
pii?.2.1,其中 是 A的特征根。
2,若上述矩阵的特征根所对应的单位特征向量为
pppp
p
p
uuu
uuu
uuu
21
22221
11211
),,(
p1
uuU
则实对称阵 属于不同特征根所对应的特征向量是正交的，即有
p1 uu,,?
令
A
IUUUU
二,主成分的推导
（一） 第一主成分设 X的协方差阵为?
2
21
2
2
221
112
2
1
ppp
p
p
x
Σ
由于 Σ x为非负定的对称阵,则有利用线性代数的知识可得,必存在正交阵 U,使得
p?
0
01
UΣU X
其中?1,?2,…,?p为 Σ x的特征根,不妨假设
12? …p 。 而 U恰好是由特征根相对应的特征向量所组成的正交阵 。
pppp
p
p
uuu
uuu
uuu
21
22221
11211
),,(
p1
uuU
piii uuu,，,?21iU
i
Pi,,2,1
下面我们来看，是否由 U的第一列元素所构成为原始变量的线性组合是否有最大的方差。
设有 P维正交向量
1 1 1 1 1ppF a X a X aX 1
2
1
1111
)( aUUaaa?
p
FV
121111,,,paaa?a
1
2
p
1
2
1 1 2 p 1
p
u
u
a u,u,,u a
u
pi i1 21 )( ua?
p
i ii11
auua?
aUUa 1? aa 1? 1
1
p
i i i
i
a u u a
2
1
()
p
ii
i
au
当且仅当 a1 =u1时，即 时，
有最大的方差?1。因为 Var(F1)=U’1?xU1=?1。
如果第一主成分的信息不够，则需要寻找第二主成分。
pp XuXuF 11111
（二） 第二主成分在约束条件 下，寻找第二主成分 0),c o v ( 21?FF
pp XuXuF 21122
因为所以
0),c o v (),c o v ( 121122121 uuuuxuxuFF
则,对 p维向量,有
012uu
pi iipi iiiuuFV 1 221 22222 )()( uuuuuu
p
i i2
2
2 )( u2?
2u
pi ii1 22 uuuu 2?
22 uUUu 2? 222 uu 2
pp XuXuXuF 22221122所以如果取线性变换：
则 的方差次大 。2F
类推
pppppp
pp
pp
XuXuXuF
XuXuXuF
XuXuXF
2211
22221122
12211111
写为矩阵形式：
XUF
pppp
p
p
uuu
uuu
uuu
21
22221
11211
),,(
p1
uuU
),,,( 21 pXXX?X
§ 4 主成分的性质一、均值?UU )( xE
二,方差为所有特征根之和
pi iFV a r1 )( 2222121 pp
说明主成分分析把 P个随机变量的总方差分解成为 P个不相关的随机变量的方差之和 。
协方差矩阵?的 对角线上的元素之和等于特征根之和 。
三,精度分析
1）贡献率：第 i个主成分的方差在全部方差中所占比重,称为贡献率,反映了原来 P个指标多大的信息，有多大的综合能力 。
pi ii 1
2）累积贡献率：前 k个主成分共有多大的综合能力，
用这 k个主成分的方差和在全部方差中所占比重来描述，称为累积贡献率。
p
i i
k
i i 11
我们进行主成分分析的目的之一是希望用尽可能少的主成分 F1,F2,…,Fk（ k≤p ） 代替原来的 P个指标 。 到底应该选择多少个主成分,在实际工作中,主成分个数的多少取决于能够反映原来变量 80%以上的信息量为依据,即当累积贡献率 ≥ 80%时的主成分的个数就足够了 。 最常见的情况是主成分为 2到 3个 。
四、原始 变量与主成分之间的相关系数
pmmj,,,2,1?
1 1 1 1 2 1 1
2 2 1 2 2 2 2
12
p
p
p p p p p p
x u u u F
x u u u F
x u u u F
XUF XUF?
ppjjjj xuxuxuF2211
1 1 2 2(,) (,)i j i i ip p j ij jC o v x F C o v u F u F u F F u
i
jij
ji
jij
ji
uuFx
),(
可见,和 的相关的密切程度取决于对应线性组合系数的大小。
ix jF
五,原始变量被主成分的提取率前面我们讨论了主成分的贡献率和累计贡献率,他度量了 F1,F2,……,Fm分别从原始变量 X1,X2,…… XP
中提取了多少信息 。 那么 X1,X2,…… XP各有多少信息分别 F1,F2,……,Fm被提取了 。 应该用什么指标来度量？ 我们考虑到当讨论 F1分别与 X1,X2,…… XP的关系时,可以讨论 F1分别与 X1,X2,…… XP的相关系数,但是由于相关系数有正有负,所以只有考虑相关系数的平方 。
1 1 2 2( ) ( )i i i ip pV a r x V a r u F u F u F
2 2 2 2 21 1 2 2i i im m ip p iu u u u则
jiju?2
22 / ijiju
如果我们仅仅提出了 m个主成分，则第 i 原始变量信息的被提取率为：
m
j ij
m
j iijji
u
1
2
1
22 /
是 Fj 能说明的第 i 原始变量的方差是 Fj 提取的第 i 原始变量信息的比重例 设 的协方差矩阵为 321,,xxx
200
052
021
解得特征根为,,83.51 00.22 17.03，，
0 0 0.0
9 2 4.0
3 8 3.0
1U
1
0
0
2U
000.0
383.0
924.0
3U
第一个主成分的贡献率为 5.83/（ 5.83+2.00+0.17）
=72.875%,尽管 第一个主成分的贡献率并不小,但在本题中第一主成分不含第三个原始变量的信息,所以应该取两个主成分 。
Xi与 F1的相关系数平方 Xi与 F2的相关系数平方 信息提取率
xi
1 0.925 0.855 0 0 0.855
2 -0.998 0.996 0 0 0.996
3 0 0 1 1 1
11 ),( ii Fx21i? 22i? 22 ),( ii Fx i?
925.01383.0*83.52111111 u
998.05)924.0(*22221112 u
013
定义：如果一个主成分仅仅对某一个原始变量有作用,则称为特殊成分 。 如果一个主成分所有的原始变量都起作用称为公共成分 。
(该题无公共因子）
§ 5 主成分分析的步骤在实际问题中,X的协方差通常是未知的,需要通过样品来估计
)21(21 nlxxx plll,，，，，,lX
pp
jjl
n
l iilx
xxxxn
))((11? 1?
第一步：由 X的协方差阵 Σ x,求出其特征根,即解方程,可得特征根 。 021 p
一、基于协方差矩阵
0Σ I
第二步：求出分别所对应的特征向量 U1,U2,…,Up，
piii uuu,，,?21iU
第三步：计算累积贡献率,给出恰当的主成分个数 。
)(21 pkkiF,，，,?XU ii
第四步：计算所选出的 k个主成分的得分 。 将原始数据的中心化值,
代入前 k个主成分的表达式,分别计算出各单位 k个主成分的得分,并按得分值的大小排队 。
ppiii xxxxxx,，,?2211* XXX ii
二、基于相关系数矩阵如果变量有不同的量纲，则必须基于相关系数矩阵进行主成分分析。不同的是计算得分时应采用标准化后的数据。
例一 应收账款是指企业因对外销售产品、材料、
提供劳务及其它原因，应向购货单位或接受劳务的单位收取的款项，包括应收销货款、其它应收款和应收票据等。出于扩大销售的竞争需要，企业不得不以赊销或其它优惠的方式招揽顾客，由于销售和收款的时间差，于是产生了应收款项。应收款赊销的效果的好坏，不仅依赖于企业的信用政策，还依赖于顾客的信用程度。由此，
评价顾客的信用等级，了解顾客的综合信用程度，做到
,知己知彼，百战不殆,,对加强企业的应收账款管理大有帮助。某企业为了了解其客户的信用程度，采用西方银行信用评估常用的 5C方法,5C的目的是说明顾客违约的可能性。
1,品格 （ 用 X1表示 ）,指顾客的信誉,履行偿还义务的可能性 。 企业可以通过过去的付款记录得到此项 。
2,能力 （ 用 X2表示 ）,指顾客的偿还能力 。 即其流动资产的数量和质量以及流动负载的比率 。 顾客的流动资产越多,其转化为现金支付款项的能力越强 。 同时,还应注意顾客流动资产的质量,看其是否会出现存货过多过时质量下降,影响其变现能力和支付能力 。
3,资本 （ 用 X3表示 ）,指顾客的财务势力和财务状况,表明顾客可能偿还债务的背景 。
4,附带的担保品 （ 用 X4表示 ）,指借款人以容易出售的资产做抵押 。
5、环境条件（用 X5表示），指企业的外部因素，即指非企业本身能控制或操纵的因素。
首先并抽取了 10家具有可比性的同类企业作为样本，又请 8位专家分别给 10个企业的 5个指标打分，
然后分别计算企业 5个指标的平均值，如表。
76.5 81.5 76 75.8 71.7 85 79.2 80.3 84.4 76.5
70.6 73 67.6 68.1 78.5 94 94 87.5 89.5 92
90.7 87.3 91 81.5 80 84.6 66.9 68.8 64.8 66.4
77.5 73.6 70.9 69.8 74.8 57.7 60.4 57.4 60.8 65
85.6 68.5 70 62.2 76.5 70 69.2 71.7 64.9 68.9；
Total Variance = 485.31477778
Eigenvalues of the Covariance Matrix
Eigenvalue Difference Proportion Cumulative
PRIN1 410.506 367.242 0.845854 0.84585
PRIN2 43.264 22.594 0.089146 0.93500
PRIN3 20.670 12.599 0.042591 0.97759
PRIN4 8.071 5.266 0.016630 0.99422
PRIN5 2.805,0.005779 1.00000
Eigenvectors
PRIN1 PRIN2 PRIN3 PRIN4 PRIN5
X1 0.468814 -.830612 0.021406 0.254654 -.158081
X2 0.484876 0.329916 0.014801 -.287720 -.757000
X3 0.472744 -.021174 -.412719 -.588582 0.509213
X4 0.461747 0.430904 -.240845 0.706283 0.210403
X5 0.329259 0.122930 0.878054 -.084286 0.313677
第一主成份的贡献率为 84.6%,第一主成份
Z1=0.469X1+0.485X2+0.473X3+0.462X4+0.329X5
的各项系数大致相等,且均为正数,说明第一主成份对所有的信用评价指标都有近似的载荷,是对所有指标的一个综合测度,可以作为综合的信用等级指标 。 可以用来排序 。 将原始数据的值中心化后,代入第一主成份 Z1的表示式,计算各企业的得分,并按分值大小排序,
在正确评估了顾客的信用等级后,就能正确制定出对其的信用期,收帐政策等,这对于加强应收帐款的管理大有帮助 。
序号 1 2 3 4 5 6 7 8 9 10
得分 3.16 13.6 -9.01 35.9 25.1 -10.3 -
4.36
-33.8 -
6.41
-13.8
排序 4 3 7 1 2 8 5 10 6 9
根据主成分分析的定义及性质，我们已大体上能看出主成分分析的一些应用。概括起来说，主成分分析主要有以下几方面的应用。
1,主成分分析能降低所研究的数据空间的维数。即用研究 m维的 Y空间代替 p维的 X空间 (m＜ p)，而低维的 Y空间代替 高维的 x空间所损失的信息很少。即：使只有一个主成分 Yl(即 m＝ 1)时，这个 Yl仍是使用全部 X变量 (p个 )得到的。
例如要计算 Yl的均值也得使用全部 x的均值。在所选的前 m
个主成分中，如果某个 Xi的系数全部近似于零的话，就可以把这个 Xi删除，这也是一种删除多余变量的方法。
§ 6 主成分分析主要有以下几方面的应用
2,有时可通过因子负荷 aij的结构，弄清 X变量间的某些关系。
3,多维数据的一种图形表示方法。我们知道当维数大于 3时便不能画出几何图形，多元统计研究的问题大都多于 3个变量。要把研究的问题用图形表示出来是不可能的。然而，经过主成分分析后，我们可以选取前两个主成分或其中某两个主成分，根据主成分的得分，画出 n个样品在二维平面上的分布况，由图形可直观地看出各样品在主分量中的地位。
4．由主成分分析法构造回归模型。即把各主成分作为新自变量代替原来自变量 x做回归分析。
5．用主成分分析筛选回归变量。回归变量的选择有着重的实际意义，为了使模型本身易于做结构分析、控制和预报，好从原始变量所构成的子集合中选择最佳变量，构成最佳变量集合。用主成分分析筛选变量，可以用较少的计算量来选择量，获得选择最佳变量子集合的效果。
(stone)在 1947年关于国民经济的研究 。 他曾利用美国 1929一 1938年各年的数据,得到了 17个反映国民收入与支出的变量要素,例如雇主补贴,消费资料和生产资料,纯公共支出,净增库存,股息,利息外贸平衡等等 。
§ 1 基本思想在进行主成分分析后,竟以 97.4％ 的精度,
用三新变量就取代了原 17个变量 。 根据经济学知识,斯通给这三个新变量分别命名为总收入 F1,总收入变化率 F2和经济发展或衰退的趋势 F3。 更有意思的是,这三个变量其实都是可以直接测量的 。 斯通将他得到的主成分与实际测量的总收入 I,总收入变化率?I以及时间 t因素做相关分析,得到下表：
F1 F2 F3 I I t
F1 1
F2 0 1
F3 0 0 1
I 0.995 -0.041 0.057 l
Δ I -0.056 0.948 -0.124 -0.102 l
t -0.369 -0.282 -0.836 -0.414 -0.112 1
主成分分析是把各变量之间互相关联的复杂关系进行简化分析的方法 。
在社会经济的研究中,为了全面系统的分析和研究问题,必须考虑许多经济指标,这些指标能从不同的侧面反映我们所研究的对象的特征,
但在某种程度上存在信息的重叠,具有一定的相关性 。
主成分分析试图在力保数据信息丢失最少的原则下,对这种多变量的截面数据表进行最佳综合简化,也就是说,对高维变量空间进行降维处理 。
很显然,识辨系统在一个低维空间要比在一个高维空间容易得多 。
(1) 基于相关系数矩阵还是基于协方差矩阵做主成分分析 。 当分析中所选择的经济变量具有不同的量纲,变量水平差异很大,应该选择基于相关系数矩阵的主成分分析 。
在力求数据信息丢失最少的原则下,对高维的变量空间降维,即研究指标体系的少数几个线性组合,
并且这几个线性组合所构成的综合指标将尽可能多地保留原来指标变异方面的信息 。 这些综合指标就称为主成分 。 要讨论的问题是：
（ 2） 选择几个主成分 。 主成分分析的目的是简化变量,一般情况下主成分的个数应该小于原始变量的个数 。 关于保留几个主成分,应该权衡主成分个数和保留的信息 。
（ 3） 如何解释主成分所包含的经济意义 。
§ 2 数学模型与几何解释假设我们所讨论的实际问题中，有 p个指标，我们把这 p个指标看作 p个随机变量，记为 X1，
X2,…,Xp，主成分分析就是要把这 p个指标的问题，转变为讨论 p个指标的线性组合的问题，而这些新的指标 F1,F2,…,Fk(k≤p ），按照保留主要信息量的原则充分反映原指标的信息，并且相互独立。
pppppp
pp
pp
XuXuXuF
XuXuXuF
XuXuXuF
2211
22221122
12211111
这种由讨论多个指标降为少数几个综合指标的过程在数学上就叫做降维。主成分分析通常的做法是，寻求原指标的线性组合 Fi。
满足如下的条件：
122221 piii uuu?
pjijiFFC ov ji,，，，，，），（?210
)()( 21 pFV arFV arFV ar）（
主成分之间相互独立，即无重叠的信息。即主成分的方差依次递减，重要性依次递减，即每个主成分的系数平方和为 1。即
2x
1x
1F
2F
主成分分析的几何解释平移、旋转坐标轴
2x
1x
1F
2F
主成分分析的几何解释平移、旋转坐标轴
2x
1x
1F
2F
主成分分析的几何解释平移、旋转坐标轴
2x
1x
1F
2F
主成分分析的几何解释平移、旋转坐标轴
为了方便，我们在二维空间中讨论主成分的几何意义。
设有 n个样品，每个样品有两个观测变量 xl和 x2，在由变量
xl和 x2 所确定的二维平面中,n个样本点所散布的情况如椭圆状。由图可以看出这 n个样本点无论是沿着 xl 轴方向或 x2轴方向都具有较大的离散性，其离散的程度可以分别用观测变量 xl 的方差和 x2 的方差定量地表示。显然，如果只考虑 xl和 x2 中的任何一个，那么包含在原始数据中的经济信息将会有较大的损失。
如果我们将 xl 轴和 x2轴先平移，再同时按逆时针方向旋转?角度，得到新坐标轴 Fl和
F2。 Fl和 F2是两个新变量。
根据旋转变换的公式：
c oss i n
s i nc os
211
211
xxy
xxy
xU
2
1
2
1
c oss i n
s i nc os
x
x
y
y
正交矩阵，即有为旋转变换矩阵，它是U?
IUUUU,1
旋转变换的目的是为了使得 n个样品点在
Fl轴方向上的离 散程度最大，即 Fl的方差最大。
变量 Fl代表了原始数据的绝大 部分信息，在研究某经济问题时，即使不考虑变量 F2也无损大局。经过上述旋转变换原始数据的大部分信息集中到 Fl轴上，对数据中包含的信息起到了浓缩作用。
Fl,F2除了可以对包含在 Xl,X2中的信息起着浓缩作用之外，还具有不相关的性质，这就使得在研究复杂的问题时避免了信息重叠所带来的虚假性。二维平面上的个点的方差大部分都归结在
Fl轴上，而 F2轴上的方差很小。 Fl和 F2称为原始变量 x1和 x2的综合变量。 F简化了系统结构，抓住了主要矛盾。
§ 3 主成分的推导及性质一、两个线性代数的结论
1,若 A是 p阶实对称阵,则一定可以找到正交阵 U,使
pp?
p
00
00
00
2
1
AUU
1
pii?.2.1,其中 是 A的特征根。
2,若上述矩阵的特征根所对应的单位特征向量为
pppp
p
p
uuu
uuu
uuu
21
22221
11211
),,(
p1
uuU
则实对称阵 属于不同特征根所对应的特征向量是正交的，即有
p1 uu,,?
令
A
IUUUU
二,主成分的推导
（一） 第一主成分设 X的协方差阵为?
2
21
2
2
221
112
2
1
ppp
p
p
x
Σ
由于 Σ x为非负定的对称阵,则有利用线性代数的知识可得,必存在正交阵 U,使得
p?
0
01
UΣU X
其中?1,?2,…,?p为 Σ x的特征根,不妨假设
12? …p 。 而 U恰好是由特征根相对应的特征向量所组成的正交阵 。
pppp
p
p
uuu
uuu
uuu
21
22221
11211
),,(
p1
uuU
piii uuu,，,?21iU
i
Pi,,2,1
下面我们来看，是否由 U的第一列元素所构成为原始变量的线性组合是否有最大的方差。
设有 P维正交向量
1 1 1 1 1ppF a X a X aX 1
2
1
1111
)( aUUaaa?
p
FV
121111,,,paaa?a
1
2
p
1
2
1 1 2 p 1
p
u
u
a u,u,,u a
u
pi i1 21 )( ua?
p
i ii11
auua?
aUUa 1? aa 1? 1
1
p
i i i
i
a u u a
2
1
()
p
ii
i
au
当且仅当 a1 =u1时，即 时，
有最大的方差?1。因为 Var(F1)=U’1?xU1=?1。
如果第一主成分的信息不够，则需要寻找第二主成分。
pp XuXuF 11111
（二） 第二主成分在约束条件 下，寻找第二主成分 0),c o v ( 21?FF
pp XuXuF 21122
因为所以
0),c o v (),c o v ( 121122121 uuuuxuxuFF
则,对 p维向量,有
012uu
pi iipi iiiuuFV 1 221 22222 )()( uuuuuu
p
i i2
2
2 )( u2?
2u
pi ii1 22 uuuu 2?
22 uUUu 2? 222 uu 2
pp XuXuXuF 22221122所以如果取线性变换：
则 的方差次大 。2F
类推
pppppp
pp
pp
XuXuXuF
XuXuXuF
XuXuXF
2211
22221122
12211111
写为矩阵形式：
XUF
pppp
p
p
uuu
uuu
uuu
21
22221
11211
),,(
p1
uuU
),,,( 21 pXXX?X
§ 4 主成分的性质一、均值?UU )( xE
二,方差为所有特征根之和
pi iFV a r1 )( 2222121 pp
说明主成分分析把 P个随机变量的总方差分解成为 P个不相关的随机变量的方差之和 。
协方差矩阵?的 对角线上的元素之和等于特征根之和 。
三,精度分析
1）贡献率：第 i个主成分的方差在全部方差中所占比重,称为贡献率,反映了原来 P个指标多大的信息，有多大的综合能力 。
pi ii 1
2）累积贡献率：前 k个主成分共有多大的综合能力，
用这 k个主成分的方差和在全部方差中所占比重来描述，称为累积贡献率。
p
i i
k
i i 11
我们进行主成分分析的目的之一是希望用尽可能少的主成分 F1,F2,…,Fk（ k≤p ） 代替原来的 P个指标 。 到底应该选择多少个主成分,在实际工作中,主成分个数的多少取决于能够反映原来变量 80%以上的信息量为依据,即当累积贡献率 ≥ 80%时的主成分的个数就足够了 。 最常见的情况是主成分为 2到 3个 。
四、原始 变量与主成分之间的相关系数
pmmj,,,2,1?
1 1 1 1 2 1 1
2 2 1 2 2 2 2
12
p
p
p p p p p p
x u u u F
x u u u F
x u u u F
XUF XUF?
ppjjjj xuxuxuF2211
1 1 2 2(,) (,)i j i i ip p j ij jC o v x F C o v u F u F u F F u
i
jij
ji
jij
ji
uuFx
),(
可见,和 的相关的密切程度取决于对应线性组合系数的大小。
ix jF
五,原始变量被主成分的提取率前面我们讨论了主成分的贡献率和累计贡献率,他度量了 F1,F2,……,Fm分别从原始变量 X1,X2,…… XP
中提取了多少信息 。 那么 X1,X2,…… XP各有多少信息分别 F1,F2,……,Fm被提取了 。 应该用什么指标来度量？ 我们考虑到当讨论 F1分别与 X1,X2,…… XP的关系时,可以讨论 F1分别与 X1,X2,…… XP的相关系数,但是由于相关系数有正有负,所以只有考虑相关系数的平方 。
1 1 2 2( ) ( )i i i ip pV a r x V a r u F u F u F
2 2 2 2 21 1 2 2i i im m ip p iu u u u则
jiju?2
22 / ijiju
如果我们仅仅提出了 m个主成分，则第 i 原始变量信息的被提取率为：
m
j ij
m
j iijji
u
1
2
1
22 /
是 Fj 能说明的第 i 原始变量的方差是 Fj 提取的第 i 原始变量信息的比重例 设 的协方差矩阵为 321,,xxx
200
052
021
解得特征根为,,83.51 00.22 17.03，，
0 0 0.0
9 2 4.0
3 8 3.0
1U
1
0
0
2U
000.0
383.0
924.0
3U
第一个主成分的贡献率为 5.83/（ 5.83+2.00+0.17）
=72.875%,尽管 第一个主成分的贡献率并不小,但在本题中第一主成分不含第三个原始变量的信息,所以应该取两个主成分 。
Xi与 F1的相关系数平方 Xi与 F2的相关系数平方 信息提取率
xi
1 0.925 0.855 0 0 0.855
2 -0.998 0.996 0 0 0.996
3 0 0 1 1 1
11 ),( ii Fx21i? 22i? 22 ),( ii Fx i?
925.01383.0*83.52111111 u
998.05)924.0(*22221112 u
013
定义：如果一个主成分仅仅对某一个原始变量有作用,则称为特殊成分 。 如果一个主成分所有的原始变量都起作用称为公共成分 。
(该题无公共因子）
§ 5 主成分分析的步骤在实际问题中,X的协方差通常是未知的,需要通过样品来估计
)21(21 nlxxx plll,，，，，,lX
pp
jjl
n
l iilx
xxxxn
))((11? 1?
第一步：由 X的协方差阵 Σ x,求出其特征根,即解方程,可得特征根 。 021 p
一、基于协方差矩阵
0Σ I
第二步：求出分别所对应的特征向量 U1,U2,…,Up，
piii uuu,，,?21iU
第三步：计算累积贡献率,给出恰当的主成分个数 。
)(21 pkkiF,，，,?XU ii
第四步：计算所选出的 k个主成分的得分 。 将原始数据的中心化值,
代入前 k个主成分的表达式,分别计算出各单位 k个主成分的得分,并按得分值的大小排队 。
ppiii xxxxxx,，,?2211* XXX ii
二、基于相关系数矩阵如果变量有不同的量纲，则必须基于相关系数矩阵进行主成分分析。不同的是计算得分时应采用标准化后的数据。
例一 应收账款是指企业因对外销售产品、材料、
提供劳务及其它原因，应向购货单位或接受劳务的单位收取的款项，包括应收销货款、其它应收款和应收票据等。出于扩大销售的竞争需要，企业不得不以赊销或其它优惠的方式招揽顾客，由于销售和收款的时间差，于是产生了应收款项。应收款赊销的效果的好坏，不仅依赖于企业的信用政策，还依赖于顾客的信用程度。由此，
评价顾客的信用等级，了解顾客的综合信用程度，做到
,知己知彼，百战不殆,,对加强企业的应收账款管理大有帮助。某企业为了了解其客户的信用程度，采用西方银行信用评估常用的 5C方法,5C的目的是说明顾客违约的可能性。
1,品格 （ 用 X1表示 ）,指顾客的信誉,履行偿还义务的可能性 。 企业可以通过过去的付款记录得到此项 。
2,能力 （ 用 X2表示 ）,指顾客的偿还能力 。 即其流动资产的数量和质量以及流动负载的比率 。 顾客的流动资产越多,其转化为现金支付款项的能力越强 。 同时,还应注意顾客流动资产的质量,看其是否会出现存货过多过时质量下降,影响其变现能力和支付能力 。
3,资本 （ 用 X3表示 ）,指顾客的财务势力和财务状况,表明顾客可能偿还债务的背景 。
4,附带的担保品 （ 用 X4表示 ）,指借款人以容易出售的资产做抵押 。
5、环境条件（用 X5表示），指企业的外部因素，即指非企业本身能控制或操纵的因素。
首先并抽取了 10家具有可比性的同类企业作为样本，又请 8位专家分别给 10个企业的 5个指标打分，
然后分别计算企业 5个指标的平均值，如表。
76.5 81.5 76 75.8 71.7 85 79.2 80.3 84.4 76.5
70.6 73 67.6 68.1 78.5 94 94 87.5 89.5 92
90.7 87.3 91 81.5 80 84.6 66.9 68.8 64.8 66.4
77.5 73.6 70.9 69.8 74.8 57.7 60.4 57.4 60.8 65
85.6 68.5 70 62.2 76.5 70 69.2 71.7 64.9 68.9；
Total Variance = 485.31477778
Eigenvalues of the Covariance Matrix
Eigenvalue Difference Proportion Cumulative
PRIN1 410.506 367.242 0.845854 0.84585
PRIN2 43.264 22.594 0.089146 0.93500
PRIN3 20.670 12.599 0.042591 0.97759
PRIN4 8.071 5.266 0.016630 0.99422
PRIN5 2.805,0.005779 1.00000
Eigenvectors
PRIN1 PRIN2 PRIN3 PRIN4 PRIN5
X1 0.468814 -.830612 0.021406 0.254654 -.158081
X2 0.484876 0.329916 0.014801 -.287720 -.757000
X3 0.472744 -.021174 -.412719 -.588582 0.509213
X4 0.461747 0.430904 -.240845 0.706283 0.210403
X5 0.329259 0.122930 0.878054 -.084286 0.313677
第一主成份的贡献率为 84.6%,第一主成份
Z1=0.469X1+0.485X2+0.473X3+0.462X4+0.329X5
的各项系数大致相等,且均为正数,说明第一主成份对所有的信用评价指标都有近似的载荷,是对所有指标的一个综合测度,可以作为综合的信用等级指标 。 可以用来排序 。 将原始数据的值中心化后,代入第一主成份 Z1的表示式,计算各企业的得分,并按分值大小排序,
在正确评估了顾客的信用等级后,就能正确制定出对其的信用期,收帐政策等,这对于加强应收帐款的管理大有帮助 。
序号 1 2 3 4 5 6 7 8 9 10
得分 3.16 13.6 -9.01 35.9 25.1 -10.3 -
4.36
-33.8 -
6.41
-13.8
排序 4 3 7 1 2 8 5 10 6 9
根据主成分分析的定义及性质，我们已大体上能看出主成分分析的一些应用。概括起来说，主成分分析主要有以下几方面的应用。
1,主成分分析能降低所研究的数据空间的维数。即用研究 m维的 Y空间代替 p维的 X空间 (m＜ p)，而低维的 Y空间代替 高维的 x空间所损失的信息很少。即：使只有一个主成分 Yl(即 m＝ 1)时，这个 Yl仍是使用全部 X变量 (p个 )得到的。
例如要计算 Yl的均值也得使用全部 x的均值。在所选的前 m
个主成分中，如果某个 Xi的系数全部近似于零的话，就可以把这个 Xi删除，这也是一种删除多余变量的方法。
§ 6 主成分分析主要有以下几方面的应用
2,有时可通过因子负荷 aij的结构，弄清 X变量间的某些关系。
3,多维数据的一种图形表示方法。我们知道当维数大于 3时便不能画出几何图形，多元统计研究的问题大都多于 3个变量。要把研究的问题用图形表示出来是不可能的。然而，经过主成分分析后，我们可以选取前两个主成分或其中某两个主成分，根据主成分的得分，画出 n个样品在二维平面上的分布况，由图形可直观地看出各样品在主分量中的地位。
4．由主成分分析法构造回归模型。即把各主成分作为新自变量代替原来自变量 x做回归分析。
5．用主成分分析筛选回归变量。回归变量的选择有着重的实际意义，为了使模型本身易于做结构分析、控制和预报，好从原始变量所构成的子集合中选择最佳变量，构成最佳变量集合。用主成分分析筛选变量，可以用较少的计算量来选择量，获得选择最佳变量子集合的效果。
