1
因子分析
2
§ 1 引言因子分析 (factor analysis)是一种数据简化的技术 。
它通过研究众多变量之间的内部依赖关系,探求观测数据中的基本结构,并用少数几个假想变量来表示其基本的数据结构 。 这几个假想变量能够反映原来众多变量的主要信息 。 原始的变量是可观测的显在变量,而假想变量是不可观测的潜在变量,称为因子 。
例如,在企业形象或品牌形象的研究中,消费者可以通过一个有 24个指标构成的评价体系,评价百货商场的 24
个方面的优劣 。
3
但消费者主要关心的是三个方面，即商店的环境
、商店的服务和商品的价格。因子分析方法可以通过 24
个变量，找出反映商店环境、商店服务水平和商品价格的三个潜在的因子，对商店进行综合评价。 而这三个公共因子可以表示为：
iiiiii FFFx 33221124,,1i
称 是不可观测的潜在因子 。 24个变量共享这三个因子,但是每个变量又有自己的个性,
不被 包含的部分,称为特殊因子 。
321 FFF,、
i?
4
注：
因子分析与回归分析不同，因子分析中的因子是一个比较抽象的概念，而回归因子有非常明确的实际意义；
主成分分析分析与因子分析也有不同，主成分分析仅仅是变量变换，而因子分析需要构造因子模型。
主成分分析,原始变量的线性组合表示新的综合变量，即主成分；
因子分析：潜在的假想变量和随机影响变量的线性组合表示原始变量。
5
§ 2 因子分析模型一,数学模型设 个变量,如果表示为iX ),,2,1( pi p
11i i i im m iX a F a F)( pm?
1 1 11 12 1 11
2 2 21 22 2 22
12
m
m
p p p p pm pm
X F
X F
X F
或
X μ AF或
6
称为 公共因子,是不可观测的变量,
他们的系数称为因子载荷 。 是特殊因子,是不能被前 m个公共因子包含的部分 。 并且满足：
mFFF,,,21?
i?
IFD?
1
1
1
)(
c o v (,) 0,F,即不相关；
mFFF,,,21?即 互不相关，方差为 1。
7
2
2
2
2
1
)(
p
D
即互不相关,方差不一定相等,。 ),0(~ 2ii N
8
用矩阵的表达方式
X- μ = A F + ε()E?F0
()E?ε 0 ()V ar?FI
2 2 212( ) (,,,)pV a r d ia gε
1 1 1 2 1
2 1 2 2 2
12
( ) ( ) ( )
( ) ( ) ( )
c o v ( ) ( )
( ) ( ) ( )
p
p
p p p p
E F E F E F
E F E F E F
E
E F E F E F
F,ε F ε 0
9
二、因子分析模型的性质
1、原始变量 X的协方差矩阵的分解
X- μ = A F + ε
( ) ( ) ( )V a r V a r V a r? X- μ = A F A + ε
xΣ = A A + D
A 是 因 子 模 型 的 系 数
2 2 212( ) (,,,)pV a r d ia gε D
D的主对角线上的元素值越小，则公共因子共享的成分越多。
10
2、因子载荷不是惟一的设 T为一个 p× p的正交矩阵，令 A*=AT，
F*=T’F，则模型可以表示为
* * *?X μ + A F + ε
()ET F 0()E?ε 0
*( ) ( ) ( )V a r V a r V a rF T F T F T I
2 2 212( ) (,,,)pV a r d ia gε
**c o v ( ) ( )EF,ε F ε 0
且满足条件因子模型的条件
11
三,因子载荷矩阵中的几个统计特征
1,因子载荷 aij的统计意义因子载荷 是第 i个变量与第 j个公共因子的相关系数ija
模型为 imimii FaFaX11
在上式的左右两边乘以 jF,再求数学期望
)()()()()( 11 jijmimjjijjiji FEFFEaFFEFFEaFXE
根据公共因子的模型性质,有
ijFx ji （ 载荷矩阵中第 i行,第 j列的元素 ） 反映了第 i个变量与第 j个公共因子的相关重要性 。 绝对值越大,相关的密切程度越高 。
12
2,变量共同度的统计意义定义,变量 的共同度是因子载荷矩阵的第 i行的元素的平方和 。 记为
iX
统计意义,
imimii FaFaX11两边求方差
)()()()( 2112 imimii VarFVaraFVaraXVar
m
j iij
a
1
221?
所有的公共因子和特殊因子对变量 的贡献为 1。 如果 非常靠近 1,非常小,则因子分析的效果好,从原变量空间到公共因子空间的转化性质好 。
iX
m
j ij
a
1
2
2i?
。 mj iji ah 1 22
13
3,公共因子 方差贡献的统计意义jF
因子载荷矩阵中各列元素的平方和称为所有的 对 的方差贡献和 。 衡量的相对重要性 。
pi ijj aS 1 2
),,1( mj jFiXjF
14
§ 3 因子载荷矩阵的估计方法设随机向量 的均值为?，协方差为?,
为?的特征根,为对应的标准化特征向量，则
pxxx,,,21?x
021 p p21 u,,u,u?
1
2
p
Σ = U U A A + D
（一）主成分分析法
15
上式给出的?表达式是精确的，然而，它实际上是毫无价值的，因为我们的目的是寻求用少数几个公共因子解释，故略去后面的 p-m项的贡献，有
2 11 11mmm m m m p1 1 2 2 ppu u u u u u u u u u
p
2
u
u
u
uuu
p
pp
2
11
2211
1
1 0
0
p
2
1 2 p
p
u
u
u u u
u
16
12mmm1 1 2 2Σ A A + D u u u u u u D
11
2
1 1 2 2
mm
pm
pm
mp
2
u
u
u u u D A A D
u
上式有一个假定，模型中的特殊因子是不重要的，因而从?的分解中忽略了特殊因子的方差。
2 2 212(,,,)pd i a gD其 中
22
1
m
i ii ij
j
sa?
17
（二）主因子法主因子方法是对主成分方法的修正，假定我们首先对变量进行标准化变换。则
R=AA’+D
R*=AA’=R-D
称 R*为约相关矩阵,R*对角线上的元素是,
而不是 1。
2ih
18
2
1 12 1
2
21 2 2
2
12
p
p
p p p
h r r
r h r
R
r r h
R - D
直接求 R*的前 p个特征根和对应的正交特征向量。得如下的矩阵：
* * * * * *
1 1 2 2 ppA u u u
* * *1 0pR 特 征 根,
* * *12,,,pu u u正 交 特 征 向 量,
19
2
1
2
2
2
p
RR＝当特殊因子 的方差不大且 已知的,问题非常好解决 。
i?
**
11
**
* * * * * * 22
1 1 2 2
**
pp
pp
u
u
u u u
u
20
* * * * * *
1 1 2 2 mmA u u u2
1
2
1
1
0
0 p
h
h
D
21
在实际的应用中,特殊因子方差矩阵一般都是未知的,可以通过一组样本来估计 。 估计的 方法有如下几种,首先，求 的初始估计值，构造出2ih *R
1） 取,在这个情况下主因子解与主成分解等价；
2）取,为 xi与其他所有的原始变量 xj的复相关系数的平方，即 xi对其余的 p-1个 xj的回归方程的判定系数，这是因为 xi 与公共因子的关系是通过其余的 p-1个 xj 的线性组合联系起来的；
12?ih
22 ii Rh? 2iR
22
2） 取,这意味着取 xi与其余的 xj
的简单相关系数的绝对值最大者；
)(||m a x? 2 ijrh iji
4） 取,其中要求该值为正数 。
p
jij iji
rph
,1
2
1
1
5） 取,其中 是 的对角元素 。iii rh /12? iir 1?R
23
例 假定某地固定资产投资率,通货膨胀率,
失业率,相关系数矩阵为试用主成分分析法求因子分析模型。
1x 2x
3x
15/25/1
5/215/1
5/15/11
24
特征根为,55.11 85.02 6.03
6.0707.085.0331.055.1629.0
6.0707.085.0331.055.1629.0
085.0883.055.1475.0
A
707.0331.0629.0
707.0331.0629.0
0883.0475.0
U
548.0305.0783.0
548.0305.0783.0
0814.0569.0
25
可取前两个因子 F1和 F2为公共因子，第一公因子 F1物价就业因子，对 X的贡献为 1.55。第二公因子
F2为投资因子，对 X的贡献为 0.85。共同度分别为 1，
0.706,0.706。
211 814.0569.0 FFx
3212 5 4 8.03 0 5.07 8 3.0 FFFx
3213 5 4 8.03 0 5.07 8 3.0 FFFx
26
§ 4 因子旋转（正交变换）
建立了因子分析数学目的不仅仅要找出公共因子以及对变量进行分组,更重要的要知道每个公共因子的意义,以便进行进一步的分析,如果每个公共因子的含义不清,则不便于进行实际背景的解释 。 由于因子载荷阵是不惟一的,所以应该对因子载荷阵进行旋转 。
目的是使因子载荷阵的结构简化,使载荷矩阵每列或行的元素平方值向 0和 1两极分化 。 有三种主要的正交旋转法 。 四次方最大法,方差最大法 和等量最大法 。
（一）为什么要旋转因子
27
百米跑成绩跳远成绩铅球成绩跳高成绩
400米跑成绩百米跨栏铁饼成绩撑杆跳远成绩标枪成绩
1500米跑成绩
1X
2X
3X
4X
5X
6X
7X
8X
9X
10X
奥运会十项全能运动项目得分数据的因子分析
28
102.017.002.001.039.018.008.009.007.0
124.034.018.013.017.044.021.011.0
124.033.023.039.024.036.020.0
132.017.027.073.031.028.0
134.046.036.052.040.0
129.019.049.063.0
138.051.034.0
142.035.0
159.0
1
29
变量 共同度
0,691 0,2 1 7 - 0,5 8 - 0,2 0 6 0,8 4
0,789 0,1 8 4 - 0,1 9 3 0,0 9 2 0,7
0,702 0,5 3 5 0,0 4 7 - 0,1 7 5 0,8
0,674 0,1 3 4 0,1 3 9 0,3 9 6 0,6 5
0,62 0,5 5 1 - 0,0 8 4 - 0,4 1 9 0,8 7
0,687 0,0 4 2 - 0,1 6 1 0,3 4 5 0,6 2
0,621 - 0,5 2 1 0,1 0 9 - 0,2 3 4 0,7 2
0,538 0,0 8 7 0,4 1 1 0,4 4 0,6 6
0,4 3 4 - 0,4 3 9 0,3 7 2 - 0,2 3 5 0,5 7
0,1 4 7 0,5 9 6 0,6 5 8 - 0,2 7 9 0,8 9
1
F
2
F
3
F
4
F
1
X
2
X
3
X
4
X
5
X
6
X
7
X
8
X
9
X
10
X
因子载荷矩阵可以看出，除第一因子在所有的变量在公共因子上有较大的正载荷，可以称为一般运动因子。其他的 3个因子不太容易解释。似乎是跑和投掷的能力对比，似乎是长跑耐力和短跑速度的对比。于是考虑旋转因子，得下表
30
变量 共同度
0,844
*
0,1 3 6 0,1 5 6 - 0,1 1 3 0,8 4
0,631
*
0,1 9 4
0,5 1 5
*
- 0,0 0 6 0,7
0,243
0,8 2 5
*
0,2 2 3 - 0,1 4 8 0,8 1
0,239 0,1 5
0,7 5 0
*
0,0 7 6 0,6 5
0,797
*
0,0 7 5 0,1 0 2 0,4 6 8 0,8 7
0,404 0,1 5 3
0,6 3 5
*
- 0,1 7 0,6 2
0,186
0,8 1 4
*
0,1 4 7 - 0,0 7 9 0,7 2
- 0,036 0,1 7 6
0,7 6 2
*
0,2 1 7 0,6 6
- 0,0 4 8
0,7 3 5
*
0,1 1 0,1 4 1 0,5 7
0,0 4 5 - 0,0 4 1 0,1 1 2
0,9 3 4
*
0,8 9
1
F
2
F
3
F
4
F
1
X
2
X
3
X
4
X
5
X
6
X
7
X
8
X
9
X
10
X
31
通过旋转,因子有了较为明确的含义 。 百米跑,
跳远和 400米跑,需要爆发力的项目在 有较大的载荷,可以称为短跑速度因子；
铅球,铁饼和 标枪在 上有较大的载荷,可以称为爆发性臂力因子；
百米跨栏,撑杆跳远,跳远和为 跳高在 上有较大的载荷,爆发腿力因子； 长跑耐力因子 。
2X 5X 1F
1F
3X 7X 9X 2F
6X 8X 2X 4X
3F
3F
4F
1X
32
变换后因子的共同度设?正交矩阵，做正交变换?AB?
)()( 1 ml ljilppij ab?B
mj mj ml ljiliji abh 1 1 1 222 )()(?B
m
j
m
l
m
j
m
l
m
lj
t tjljitilljil
aaa
1 1 1 1 1
22
)(21 1 1 222 Aiml mj ml illjil haa
变换后因子的共同度没有发生变化！
（二）旋转方法
33
变换后因子贡献设?正交矩阵，做正交变换?AB?
)()( 1 ql ljilppij ab?B
pi pi ql ljilijj abS 1 1 1 222 )()(?B
p
i
q
l
p
i
q
l
q
lt
t tjljitilljil
aaa
1 1 1 1 1
22
pi ql ql ljjljil Sa1 1 1 2222 )( A
变换后因子的贡献发生了变化！
34
方差最大法方差最大法从简化因子载荷矩阵的每一列出发，使和每个因子有关的载荷的平方的方差最大。当只有少数几个变量在某个因子上又较高的载荷时，对因子的解释最简单。 方差最大的直观意义是希望通过因子旋转后，使每个因子上的载荷尽量拉开距离，一部分的载荷趋于?1，另一部分趋于 0。
21
2221
1211
pp
aa
aa
aa
A
2211
2221212
2121111
FaFaX
FaFaX
FaFaX
ppp
35
c o ss i n
s i nc o sT设旋转矩阵为：
c o ss i n
s i nc o sAATB则
c o ss i ns i nc o s
c o ss i ns i nc o s
1121
12111211
pppp aaaa
aaaa
*
2
*
1
*
12
*
11
pp aa
aa
36
1,2,,; 1,2ijij
i
ad i p j
h
令
2
1
1 (p
j i j
i
ddp
这 是 列 和 ）
m a x)()( 1 21 2mj pi jij ddV?简化准则为：
00
V?
令,则 可 以 解 出
00
00
c oss i n
s i nc os
T旋转矩阵为：
m a x ( 8.4,2)?1 2 3 m即,V +V +V +V
37
1 0 0
0 c o s sin
0 sin c o s
T
1 0 0
0 c o s sin
0 sin c o s
T
1
1
1
TT
38
§ 5 因子得分
（一）因子得分的概念前面我们主要解决了用公共因子的线性组合来表示一组观测变量的有关问题 。 如果我们要使用这些因子做其他的研究,比如把得到的因子作为自变量来做回归分析,对模型进行诊断,进一步分析原始数据 (如 对样本进行分类或评价 ),这就需要我们对公共因子进行测度,即给出公共因子的值 。
39
人均要素变量因子分析 。 对我国 32个省市自治区的要素状况作因子分析 。 指标体系中有如下指标：
X1,人口（万人） X2,面积（万平方公里）
X3,GDP（亿元） X4,人均水资源（立方米 /人）
X5：人均生物量（吨 /人） X6：万人拥有的大学生数（人）
X7：万人拥有科学家、工程师数（人）
Rotated Factor Pattern
FACTOR1 FACTOR2 FACTOR3
X1 -0.21522 -0.27397 0.89092
X2 0.63973 -0.28739 -0.28755
X3 -0.15791 0.06334 0.94855
X4 0.95898 -0.01501 -0.07556
X5 0.97224 -0.06778 -0.17535
X6 -0.11416 0.98328 -0.08300
X7 -0.11041 0.97851 -0.07246
40
高载荷指标 因子命名因子 1
X2；面积 （ 万平方公里 ）
X4:人均水资源 （ 立方米 /人 ）
X5:人均生物量 （ 吨 /人 ）
自然资源因子因子 2
X6：万人拥有的大学生数 （ 人 ）
X7：万人拥有的科学家,工程师数 （ 人 ）
人力资源因子因子 3 X1;人口 （ 万人 ）
X3:GDP(亿元 )
经济发展总量因子
X1=-0.21522F1-0.27397F2+0.89092F3
X2=0.63973F1-0.28739F2-0.28755F3
X3=-0.15791F1+0.06334F2+0.94855F3
X4=0.95898F1-0.01501F2-0.07556F3
X5=0.97224F1-0.06778F2-0.17535F3
X6=-0.11416F1+0.98328F2-0.08300F3
X7=-0.11041F1+0.97851F2-0.07246F3
41
Standardized Scoring Coefficients
FACTOR1 FACTOR2 FACTOR3
X1 0.05764 -0.06098 0.50391
X2 0.22724 -0.09901 -0.07713
X3 0.14635 0.12957 0.59715
X4 0.47920 0.11228 0.17062
X5 0.45583 0.07419 0.10129
X6 0.05416 0.48629 0.04099
X7 0.05790 0.48562 0.04822
F1=0.05764X1+0.22724X2+0.14635X3+0.47920X4+0.45583X5+0.05416X6+0.05790X7
F2=-0.06098X1-0.09901X2+0.12957X3+0.11228X4+0.07419X5+0.48629X6+0.48562X7
F3=0.50391X1-0.07713X2+0.59715X3+0.17062X4+0.10129X5+0.04099X6+0.04822X7
42
REGION FACTOR1 FACTOR2 FACTOR3
beijing? -0.08169 4.23473 -0.37983
tianjin -0.47422 1.31789 -0.87891
hebei -0.22192 -0.35802 0.86263
shanxi1 -0.48214 -0.32643 -0.54219
neimeng 0.54446 -0.66668 -0.92621
liaoning -0.20511 0.46377 0.34087
jilin -0.21499 0.10608 -0.57431
heilongj 0.10839 -0.11717 -0.02219
shanghai -0.20069 2.38962 -0.04259
前三个因子得分
43
国民生活质量的因素分析国家发展的最终目标,是为了全面提高全体国民的生活质量,满足广大国民日益增长的物质和文化的合理需求 。 在可持续发展消费的统一理念下,增加社会财富,创自更多的物质文明和精神文明,保持人类的健康延续和生生不息,在人类与自然协同进化的基础上,维系人类与自然的平衡,达到完整的代际公平和区际公平 (即时间过程的最大合理性与空间分布的最大合理化 )。
从 1990年开始,联合国开发计划署 (UYNP)首次采用,人文发展系数,指标对于国民生活质量进行测度 。 人文发展系数利用三类内涵丰富的指标组合,即人的健康状况 (使用出生时的人均预期寿命表达 ),人的智力程度 (使用组合的教育成就表达 ),人的福利水平 (使用人均国民收入或人均 GDP表达 )，
并且特别强调三类指标组合的整体表达内涵,去衡量一个国家或地区的社会发展总体状况以及国民生活质量的总水平 。
44
在这个指标体系中有如下的指标：
X1——预期寿命
X2——成人识字率
X3——综合入学率
X4——人均 GDP（ 美圆 ）
X5——预期寿命指数
X6——教育成就指数
X7——人均 GDP指数
45
旋转后的因子结构
Rotated Factor Pattern
FACTOR1 FACTOR2 FACTOR3
X1 0.38129 0.41765 0.81714
X2 0.12166 0.84828 0.45981
X3 0.64803 0.61822 0.22398
X4 0.90410 0.20531 0.34100
X5 0.38854 0.43295 0.80848
X6 0.28207 0.85325 0.43289
X7 0.90091 0.20612 0.35052
FACTOR1为经济发展因子
FACTOR2为教育成就因子
FACTOR3为健康水平因子
46
被每个因子解释的方差和共同度
Variance explained by each factor
FACTOR1 FACTOR2 FACTOR3
2.439700 2.276317 2.009490
Final Communality Estimates,Total = 6.725507
X1 X2 X3 X4 X5
0.987530 0.945796 0.852306 0.975830 0.992050
X6 X7
0.994995 0.976999
47
Standardized Scoring Coefficients标准化得分系数
FACTOR1 FACTOR2 FACTOR3
X1 -0.18875 -0.34397 0.85077
X2 -0.24109 0.60335 -0.10234
X3 0.35462 0.50232 -0.59895
X4 0.53990 -0.17336 -0.10355
X5 -0.17918 -0.31604 0.81490
X6 -0.09230 0.62258 -0.24876
*
6
*
5
*
4
*
3
*
2
*
1
0 9 2 3 0.01 7 9 1 8.05 3 9 9.0
3 5 4 6 2.02 4 1 0 9.01 8 8 7 5.01
xxx
xxxf
*
6
*
5
*
4
*
3
*
2
*
1
6 2 2 5 8.03 1 6 0 4.01 7 3 3 6.0
5 0 2 3 2.06 0 3 3 5.03 4 3 9 7.02
xxx
xxxf
*
6
*
5
*
4
*
3
*
2
*
1
24876.081490.010335.0
59895.010234.085077.03
xxx
xxxf
48
生育率的影响因素分析生育率受社会、经济、文化、计划生育政策等很多因素影响，但这些因素对生育率的影响并不是完全独立的，而是交织在一起，如果直接用选定的变量对生育率进行多元回归分析，最终结果往往只能保留两三个变量，
其他变量的信息就损失了。因此，考虑用因子分析的方法，找出变量间的数据结构，在信息损失最少的情况下用新生成的因子对生育率进行分析。
选择的变量有：多子率、综合节育率、初中以上文化程度比例、城镇人口比例、人均国民收入。下表是 1990
年中国 30个省、自治区、直辖市的数据。
49
多子率（ % ） 综合节育率（ % ） 初中以上文化程度比例（ % ） 人均国民收入（元） 城镇人口比例（ % ）
0.94 89.89 64.51 3577 73.08
2.58 92.32 55.41 2981 68.65
13.46 90.71 38.2 1148 19.08
12.46 90.04 45.12 1124 27.68
8.94 90.46 41.83 1080 36.12
2.8 90.17 50.64 2011 50.86
8.91 91.43 46.32 1383 42.65
8.82 90.78 47.33 1628 47.17
0.8 91.47 62.36 4822 66.23
5.94 90.31 40.85 1696 21.24
2.6 92.42 35.14 1717 32.81
7.07 87.97 29.51 933 17.9
14.44 88.71 29.04 1313 21.36
15.24 89.43 31.05 943 20.4
3.16 90.21 37.85 1372 27.34
9.04 88.76 39.71 880 15.52
12.02 87.28 38.76 1248 28.91
11.15 89.13 36.33 976 18.23
22.46 87.72 38.38 1845 36.77
24.34 84.86 31.07 798 15.1
33.21 83.79 39.44 1193 24.05
4.78 90.57 31.26 903 20.25
21.56 86 22.38 654 19.93
14.09 80.86 21.49 956 14.72
32.31 87.6 7.7 865 12.59
11.18 89.71 41.01 930 21.49
13.8 86.33 29.69 938 22.04
25.34 81.56 31.3 1100 27.35
20.84 81.45 34.59 1024 25.82
39.6 64.9 38.47 1374 31.91
50
Eigenvalue Difference Proportion Cumulative
3.24917597 2.03464291 0.6498 0.6498
1.21453306 0.96296800 0.2429 0.8927
0.25156507 0.06743397 0.0503 0.9431
0.18413109 0.08353629 0.0368 0.9799
0.10059480 0.0201 1.0000
特征根与各因子的贡献
51
Factor1 Factor2
x1 -0.76062 0.55316
x2 0.56898 -0.76662
x3 0.89184 0.25374
x4 0.87066 0.34618
x5 0.89076 0.36962
没有旋转的因子结构
52
各旋转后的共同度
0.88454023 0.91143998 0.85977061 0.87789453 0.93006369
在这个例子中我们得到了两个因子，第一个因子是社会经济发展水平因子，第二个是计划生育因子。有了因子得分值后，则可以利用因子得分为变量，进行其他的统计分析。
Factor1 Factor2
x1 -0.35310 -0.87170
x2 0.07757 0.95154
x3 0.89114 0.25621
x4 0.92204 0.16655
x5 0.95149 0.15728
Factor1 Factor2
x1 -0.05897 -0.49252
x2 -0.05805 0.58056
x3 0.33042 0.03497
x4 0.35108 -0.02506
x5 0.36366 -0.03493
方差最大旋转后的因子结构 标准化得分函数
因子分析
2
§ 1 引言因子分析 (factor analysis)是一种数据简化的技术 。
它通过研究众多变量之间的内部依赖关系,探求观测数据中的基本结构,并用少数几个假想变量来表示其基本的数据结构 。 这几个假想变量能够反映原来众多变量的主要信息 。 原始的变量是可观测的显在变量,而假想变量是不可观测的潜在变量,称为因子 。
例如,在企业形象或品牌形象的研究中,消费者可以通过一个有 24个指标构成的评价体系,评价百货商场的 24
个方面的优劣 。
3
但消费者主要关心的是三个方面，即商店的环境
、商店的服务和商品的价格。因子分析方法可以通过 24
个变量，找出反映商店环境、商店服务水平和商品价格的三个潜在的因子，对商店进行综合评价。 而这三个公共因子可以表示为：
iiiiii FFFx 33221124,,1i
称 是不可观测的潜在因子 。 24个变量共享这三个因子,但是每个变量又有自己的个性,
不被 包含的部分,称为特殊因子 。
321 FFF,、
i?
4
注：
因子分析与回归分析不同，因子分析中的因子是一个比较抽象的概念，而回归因子有非常明确的实际意义；
主成分分析分析与因子分析也有不同，主成分分析仅仅是变量变换，而因子分析需要构造因子模型。
主成分分析,原始变量的线性组合表示新的综合变量，即主成分；
因子分析：潜在的假想变量和随机影响变量的线性组合表示原始变量。
5
§ 2 因子分析模型一,数学模型设 个变量,如果表示为iX ),,2,1( pi p
11i i i im m iX a F a F)( pm?
1 1 11 12 1 11
2 2 21 22 2 22
12
m
m
p p p p pm pm
X F
X F
X F
或
X μ AF或
6
称为 公共因子,是不可观测的变量,
他们的系数称为因子载荷 。 是特殊因子,是不能被前 m个公共因子包含的部分 。 并且满足：
mFFF,,,21?
i?
IFD?
1
1
1
)(
c o v (,) 0,F,即不相关；
mFFF,,,21?即 互不相关，方差为 1。
7
2
2
2
2
1
)(
p
D
即互不相关,方差不一定相等,。 ),0(~ 2ii N
8
用矩阵的表达方式
X- μ = A F + ε()E?F0
()E?ε 0 ()V ar?FI
2 2 212( ) (,,,)pV a r d ia gε
1 1 1 2 1
2 1 2 2 2
12
( ) ( ) ( )
( ) ( ) ( )
c o v ( ) ( )
( ) ( ) ( )
p
p
p p p p
E F E F E F
E F E F E F
E
E F E F E F
F,ε F ε 0
9
二、因子分析模型的性质
1、原始变量 X的协方差矩阵的分解
X- μ = A F + ε
( ) ( ) ( )V a r V a r V a r? X- μ = A F A + ε
xΣ = A A + D
A 是 因 子 模 型 的 系 数
2 2 212( ) (,,,)pV a r d ia gε D
D的主对角线上的元素值越小，则公共因子共享的成分越多。
10
2、因子载荷不是惟一的设 T为一个 p× p的正交矩阵，令 A*=AT，
F*=T’F，则模型可以表示为
* * *?X μ + A F + ε
()ET F 0()E?ε 0
*( ) ( ) ( )V a r V a r V a rF T F T F T I
2 2 212( ) (,,,)pV a r d ia gε
**c o v ( ) ( )EF,ε F ε 0
且满足条件因子模型的条件
11
三,因子载荷矩阵中的几个统计特征
1,因子载荷 aij的统计意义因子载荷 是第 i个变量与第 j个公共因子的相关系数ija
模型为 imimii FaFaX11
在上式的左右两边乘以 jF,再求数学期望
)()()()()( 11 jijmimjjijjiji FEFFEaFFEFFEaFXE
根据公共因子的模型性质,有
ijFx ji （ 载荷矩阵中第 i行,第 j列的元素 ） 反映了第 i个变量与第 j个公共因子的相关重要性 。 绝对值越大,相关的密切程度越高 。
12
2,变量共同度的统计意义定义,变量 的共同度是因子载荷矩阵的第 i行的元素的平方和 。 记为
iX
统计意义,
imimii FaFaX11两边求方差
)()()()( 2112 imimii VarFVaraFVaraXVar
m
j iij
a
1
221?
所有的公共因子和特殊因子对变量 的贡献为 1。 如果 非常靠近 1,非常小,则因子分析的效果好,从原变量空间到公共因子空间的转化性质好 。
iX
m
j ij
a
1
2
2i?
。 mj iji ah 1 22
13
3,公共因子 方差贡献的统计意义jF
因子载荷矩阵中各列元素的平方和称为所有的 对 的方差贡献和 。 衡量的相对重要性 。
pi ijj aS 1 2
),,1( mj jFiXjF
14
§ 3 因子载荷矩阵的估计方法设随机向量 的均值为?，协方差为?,
为?的特征根,为对应的标准化特征向量，则
pxxx,,,21?x
021 p p21 u,,u,u?
1
2
p
Σ = U U A A + D
（一）主成分分析法
15
上式给出的?表达式是精确的，然而，它实际上是毫无价值的，因为我们的目的是寻求用少数几个公共因子解释，故略去后面的 p-m项的贡献，有
2 11 11mmm m m m p1 1 2 2 ppu u u u u u u u u u
p
2
u
u
u
uuu
p
pp
2
11
2211
1
1 0
0
p
2
1 2 p
p
u
u
u u u
u
16
12mmm1 1 2 2Σ A A + D u u u u u u D
11
2
1 1 2 2
mm
pm
pm
mp
2
u
u
u u u D A A D
u
上式有一个假定，模型中的特殊因子是不重要的，因而从?的分解中忽略了特殊因子的方差。
2 2 212(,,,)pd i a gD其 中
22
1
m
i ii ij
j
sa?
17
（二）主因子法主因子方法是对主成分方法的修正，假定我们首先对变量进行标准化变换。则
R=AA’+D
R*=AA’=R-D
称 R*为约相关矩阵,R*对角线上的元素是,
而不是 1。
2ih
18
2
1 12 1
2
21 2 2
2
12
p
p
p p p
h r r
r h r
R
r r h
R - D
直接求 R*的前 p个特征根和对应的正交特征向量。得如下的矩阵：
* * * * * *
1 1 2 2 ppA u u u
* * *1 0pR 特 征 根,
* * *12,,,pu u u正 交 特 征 向 量,
19
2
1
2
2
2
p
RR＝当特殊因子 的方差不大且 已知的,问题非常好解决 。
i?
**
11
**
* * * * * * 22
1 1 2 2
**
pp
pp
u
u
u u u
u
20
* * * * * *
1 1 2 2 mmA u u u2
1
2
1
1
0
0 p
h
h
D
21
在实际的应用中,特殊因子方差矩阵一般都是未知的,可以通过一组样本来估计 。 估计的 方法有如下几种,首先，求 的初始估计值，构造出2ih *R
1） 取,在这个情况下主因子解与主成分解等价；
2）取,为 xi与其他所有的原始变量 xj的复相关系数的平方，即 xi对其余的 p-1个 xj的回归方程的判定系数，这是因为 xi 与公共因子的关系是通过其余的 p-1个 xj 的线性组合联系起来的；
12?ih
22 ii Rh? 2iR
22
2） 取,这意味着取 xi与其余的 xj
的简单相关系数的绝对值最大者；
)(||m a x? 2 ijrh iji
4） 取,其中要求该值为正数 。
p
jij iji
rph
,1
2
1
1
5） 取,其中 是 的对角元素 。iii rh /12? iir 1?R
23
例 假定某地固定资产投资率,通货膨胀率,
失业率,相关系数矩阵为试用主成分分析法求因子分析模型。
1x 2x
3x
15/25/1
5/215/1
5/15/11
24
特征根为,55.11 85.02 6.03
6.0707.085.0331.055.1629.0
6.0707.085.0331.055.1629.0
085.0883.055.1475.0
A
707.0331.0629.0
707.0331.0629.0
0883.0475.0
U
548.0305.0783.0
548.0305.0783.0
0814.0569.0
25
可取前两个因子 F1和 F2为公共因子，第一公因子 F1物价就业因子，对 X的贡献为 1.55。第二公因子
F2为投资因子，对 X的贡献为 0.85。共同度分别为 1，
0.706,0.706。
211 814.0569.0 FFx
3212 5 4 8.03 0 5.07 8 3.0 FFFx
3213 5 4 8.03 0 5.07 8 3.0 FFFx
26
§ 4 因子旋转（正交变换）
建立了因子分析数学目的不仅仅要找出公共因子以及对变量进行分组,更重要的要知道每个公共因子的意义,以便进行进一步的分析,如果每个公共因子的含义不清,则不便于进行实际背景的解释 。 由于因子载荷阵是不惟一的,所以应该对因子载荷阵进行旋转 。
目的是使因子载荷阵的结构简化,使载荷矩阵每列或行的元素平方值向 0和 1两极分化 。 有三种主要的正交旋转法 。 四次方最大法,方差最大法 和等量最大法 。
（一）为什么要旋转因子
27
百米跑成绩跳远成绩铅球成绩跳高成绩
400米跑成绩百米跨栏铁饼成绩撑杆跳远成绩标枪成绩
1500米跑成绩
1X
2X
3X
4X
5X
6X
7X
8X
9X
10X
奥运会十项全能运动项目得分数据的因子分析
28
102.017.002.001.039.018.008.009.007.0
124.034.018.013.017.044.021.011.0
124.033.023.039.024.036.020.0
132.017.027.073.031.028.0
134.046.036.052.040.0
129.019.049.063.0
138.051.034.0
142.035.0
159.0
1
29
变量 共同度
0,691 0,2 1 7 - 0,5 8 - 0,2 0 6 0,8 4
0,789 0,1 8 4 - 0,1 9 3 0,0 9 2 0,7
0,702 0,5 3 5 0,0 4 7 - 0,1 7 5 0,8
0,674 0,1 3 4 0,1 3 9 0,3 9 6 0,6 5
0,62 0,5 5 1 - 0,0 8 4 - 0,4 1 9 0,8 7
0,687 0,0 4 2 - 0,1 6 1 0,3 4 5 0,6 2
0,621 - 0,5 2 1 0,1 0 9 - 0,2 3 4 0,7 2
0,538 0,0 8 7 0,4 1 1 0,4 4 0,6 6
0,4 3 4 - 0,4 3 9 0,3 7 2 - 0,2 3 5 0,5 7
0,1 4 7 0,5 9 6 0,6 5 8 - 0,2 7 9 0,8 9
1
F
2
F
3
F
4
F
1
X
2
X
3
X
4
X
5
X
6
X
7
X
8
X
9
X
10
X
因子载荷矩阵可以看出，除第一因子在所有的变量在公共因子上有较大的正载荷，可以称为一般运动因子。其他的 3个因子不太容易解释。似乎是跑和投掷的能力对比，似乎是长跑耐力和短跑速度的对比。于是考虑旋转因子，得下表
30
变量 共同度
0,844
*
0,1 3 6 0,1 5 6 - 0,1 1 3 0,8 4
0,631
*
0,1 9 4
0,5 1 5
*
- 0,0 0 6 0,7
0,243
0,8 2 5
*
0,2 2 3 - 0,1 4 8 0,8 1
0,239 0,1 5
0,7 5 0
*
0,0 7 6 0,6 5
0,797
*
0,0 7 5 0,1 0 2 0,4 6 8 0,8 7
0,404 0,1 5 3
0,6 3 5
*
- 0,1 7 0,6 2
0,186
0,8 1 4
*
0,1 4 7 - 0,0 7 9 0,7 2
- 0,036 0,1 7 6
0,7 6 2
*
0,2 1 7 0,6 6
- 0,0 4 8
0,7 3 5
*
0,1 1 0,1 4 1 0,5 7
0,0 4 5 - 0,0 4 1 0,1 1 2
0,9 3 4
*
0,8 9
1
F
2
F
3
F
4
F
1
X
2
X
3
X
4
X
5
X
6
X
7
X
8
X
9
X
10
X
31
通过旋转,因子有了较为明确的含义 。 百米跑,
跳远和 400米跑,需要爆发力的项目在 有较大的载荷,可以称为短跑速度因子；
铅球,铁饼和 标枪在 上有较大的载荷,可以称为爆发性臂力因子；
百米跨栏,撑杆跳远,跳远和为 跳高在 上有较大的载荷,爆发腿力因子； 长跑耐力因子 。
2X 5X 1F
1F
3X 7X 9X 2F
6X 8X 2X 4X
3F
3F
4F
1X
32
变换后因子的共同度设?正交矩阵，做正交变换?AB?
)()( 1 ml ljilppij ab?B
mj mj ml ljiliji abh 1 1 1 222 )()(?B
m
j
m
l
m
j
m
l
m
lj
t tjljitilljil
aaa
1 1 1 1 1
22
)(21 1 1 222 Aiml mj ml illjil haa
变换后因子的共同度没有发生变化！
（二）旋转方法
33
变换后因子贡献设?正交矩阵，做正交变换?AB?
)()( 1 ql ljilppij ab?B
pi pi ql ljilijj abS 1 1 1 222 )()(?B
p
i
q
l
p
i
q
l
q
lt
t tjljitilljil
aaa
1 1 1 1 1
22
pi ql ql ljjljil Sa1 1 1 2222 )( A
变换后因子的贡献发生了变化！
34
方差最大法方差最大法从简化因子载荷矩阵的每一列出发，使和每个因子有关的载荷的平方的方差最大。当只有少数几个变量在某个因子上又较高的载荷时，对因子的解释最简单。 方差最大的直观意义是希望通过因子旋转后，使每个因子上的载荷尽量拉开距离，一部分的载荷趋于?1，另一部分趋于 0。
21
2221
1211
pp
aa
aa
aa
A
2211
2221212
2121111
FaFaX
FaFaX
FaFaX
ppp
35
c o ss i n
s i nc o sT设旋转矩阵为：
c o ss i n
s i nc o sAATB则
c o ss i ns i nc o s
c o ss i ns i nc o s
1121
12111211
pppp aaaa
aaaa
*
2
*
1
*
12
*
11
pp aa
aa
36
1,2,,; 1,2ijij
i
ad i p j
h
令
2
1
1 (p
j i j
i
ddp
这 是 列 和 ）
m a x)()( 1 21 2mj pi jij ddV?简化准则为：
00
V?
令,则 可 以 解 出
00
00
c oss i n
s i nc os
T旋转矩阵为：
m a x ( 8.4,2)?1 2 3 m即,V +V +V +V
37
1 0 0
0 c o s sin
0 sin c o s
T
1 0 0
0 c o s sin
0 sin c o s
T
1
1
1
TT
38
§ 5 因子得分
（一）因子得分的概念前面我们主要解决了用公共因子的线性组合来表示一组观测变量的有关问题 。 如果我们要使用这些因子做其他的研究,比如把得到的因子作为自变量来做回归分析,对模型进行诊断,进一步分析原始数据 (如 对样本进行分类或评价 ),这就需要我们对公共因子进行测度,即给出公共因子的值 。
39
人均要素变量因子分析 。 对我国 32个省市自治区的要素状况作因子分析 。 指标体系中有如下指标：
X1,人口（万人） X2,面积（万平方公里）
X3,GDP（亿元） X4,人均水资源（立方米 /人）
X5：人均生物量（吨 /人） X6：万人拥有的大学生数（人）
X7：万人拥有科学家、工程师数（人）
Rotated Factor Pattern
FACTOR1 FACTOR2 FACTOR3
X1 -0.21522 -0.27397 0.89092
X2 0.63973 -0.28739 -0.28755
X3 -0.15791 0.06334 0.94855
X4 0.95898 -0.01501 -0.07556
X5 0.97224 -0.06778 -0.17535
X6 -0.11416 0.98328 -0.08300
X7 -0.11041 0.97851 -0.07246
40
高载荷指标 因子命名因子 1
X2；面积 （ 万平方公里 ）
X4:人均水资源 （ 立方米 /人 ）
X5:人均生物量 （ 吨 /人 ）
自然资源因子因子 2
X6：万人拥有的大学生数 （ 人 ）
X7：万人拥有的科学家,工程师数 （ 人 ）
人力资源因子因子 3 X1;人口 （ 万人 ）
X3:GDP(亿元 )
经济发展总量因子
X1=-0.21522F1-0.27397F2+0.89092F3
X2=0.63973F1-0.28739F2-0.28755F3
X3=-0.15791F1+0.06334F2+0.94855F3
X4=0.95898F1-0.01501F2-0.07556F3
X5=0.97224F1-0.06778F2-0.17535F3
X6=-0.11416F1+0.98328F2-0.08300F3
X7=-0.11041F1+0.97851F2-0.07246F3
41
Standardized Scoring Coefficients
FACTOR1 FACTOR2 FACTOR3
X1 0.05764 -0.06098 0.50391
X2 0.22724 -0.09901 -0.07713
X3 0.14635 0.12957 0.59715
X4 0.47920 0.11228 0.17062
X5 0.45583 0.07419 0.10129
X6 0.05416 0.48629 0.04099
X7 0.05790 0.48562 0.04822
F1=0.05764X1+0.22724X2+0.14635X3+0.47920X4+0.45583X5+0.05416X6+0.05790X7
F2=-0.06098X1-0.09901X2+0.12957X3+0.11228X4+0.07419X5+0.48629X6+0.48562X7
F3=0.50391X1-0.07713X2+0.59715X3+0.17062X4+0.10129X5+0.04099X6+0.04822X7
42
REGION FACTOR1 FACTOR2 FACTOR3
beijing? -0.08169 4.23473 -0.37983
tianjin -0.47422 1.31789 -0.87891
hebei -0.22192 -0.35802 0.86263
shanxi1 -0.48214 -0.32643 -0.54219
neimeng 0.54446 -0.66668 -0.92621
liaoning -0.20511 0.46377 0.34087
jilin -0.21499 0.10608 -0.57431
heilongj 0.10839 -0.11717 -0.02219
shanghai -0.20069 2.38962 -0.04259
前三个因子得分
43
国民生活质量的因素分析国家发展的最终目标,是为了全面提高全体国民的生活质量,满足广大国民日益增长的物质和文化的合理需求 。 在可持续发展消费的统一理念下,增加社会财富,创自更多的物质文明和精神文明,保持人类的健康延续和生生不息,在人类与自然协同进化的基础上,维系人类与自然的平衡,达到完整的代际公平和区际公平 (即时间过程的最大合理性与空间分布的最大合理化 )。
从 1990年开始,联合国开发计划署 (UYNP)首次采用,人文发展系数,指标对于国民生活质量进行测度 。 人文发展系数利用三类内涵丰富的指标组合,即人的健康状况 (使用出生时的人均预期寿命表达 ),人的智力程度 (使用组合的教育成就表达 ),人的福利水平 (使用人均国民收入或人均 GDP表达 )，
并且特别强调三类指标组合的整体表达内涵,去衡量一个国家或地区的社会发展总体状况以及国民生活质量的总水平 。
44
在这个指标体系中有如下的指标：
X1——预期寿命
X2——成人识字率
X3——综合入学率
X4——人均 GDP（ 美圆 ）
X5——预期寿命指数
X6——教育成就指数
X7——人均 GDP指数
45
旋转后的因子结构
Rotated Factor Pattern
FACTOR1 FACTOR2 FACTOR3
X1 0.38129 0.41765 0.81714
X2 0.12166 0.84828 0.45981
X3 0.64803 0.61822 0.22398
X4 0.90410 0.20531 0.34100
X5 0.38854 0.43295 0.80848
X6 0.28207 0.85325 0.43289
X7 0.90091 0.20612 0.35052
FACTOR1为经济发展因子
FACTOR2为教育成就因子
FACTOR3为健康水平因子
46
被每个因子解释的方差和共同度
Variance explained by each factor
FACTOR1 FACTOR2 FACTOR3
2.439700 2.276317 2.009490
Final Communality Estimates,Total = 6.725507
X1 X2 X3 X4 X5
0.987530 0.945796 0.852306 0.975830 0.992050
X6 X7
0.994995 0.976999
47
Standardized Scoring Coefficients标准化得分系数
FACTOR1 FACTOR2 FACTOR3
X1 -0.18875 -0.34397 0.85077
X2 -0.24109 0.60335 -0.10234
X3 0.35462 0.50232 -0.59895
X4 0.53990 -0.17336 -0.10355
X5 -0.17918 -0.31604 0.81490
X6 -0.09230 0.62258 -0.24876
*
6
*
5
*
4
*
3
*
2
*
1
0 9 2 3 0.01 7 9 1 8.05 3 9 9.0
3 5 4 6 2.02 4 1 0 9.01 8 8 7 5.01
xxx
xxxf
*
6
*
5
*
4
*
3
*
2
*
1
6 2 2 5 8.03 1 6 0 4.01 7 3 3 6.0
5 0 2 3 2.06 0 3 3 5.03 4 3 9 7.02
xxx
xxxf
*
6
*
5
*
4
*
3
*
2
*
1
24876.081490.010335.0
59895.010234.085077.03
xxx
xxxf
48
生育率的影响因素分析生育率受社会、经济、文化、计划生育政策等很多因素影响，但这些因素对生育率的影响并不是完全独立的，而是交织在一起，如果直接用选定的变量对生育率进行多元回归分析，最终结果往往只能保留两三个变量，
其他变量的信息就损失了。因此，考虑用因子分析的方法，找出变量间的数据结构，在信息损失最少的情况下用新生成的因子对生育率进行分析。
选择的变量有：多子率、综合节育率、初中以上文化程度比例、城镇人口比例、人均国民收入。下表是 1990
年中国 30个省、自治区、直辖市的数据。
49
多子率（ % ） 综合节育率（ % ） 初中以上文化程度比例（ % ） 人均国民收入（元） 城镇人口比例（ % ）
0.94 89.89 64.51 3577 73.08
2.58 92.32 55.41 2981 68.65
13.46 90.71 38.2 1148 19.08
12.46 90.04 45.12 1124 27.68
8.94 90.46 41.83 1080 36.12
2.8 90.17 50.64 2011 50.86
8.91 91.43 46.32 1383 42.65
8.82 90.78 47.33 1628 47.17
0.8 91.47 62.36 4822 66.23
5.94 90.31 40.85 1696 21.24
2.6 92.42 35.14 1717 32.81
7.07 87.97 29.51 933 17.9
14.44 88.71 29.04 1313 21.36
15.24 89.43 31.05 943 20.4
3.16 90.21 37.85 1372 27.34
9.04 88.76 39.71 880 15.52
12.02 87.28 38.76 1248 28.91
11.15 89.13 36.33 976 18.23
22.46 87.72 38.38 1845 36.77
24.34 84.86 31.07 798 15.1
33.21 83.79 39.44 1193 24.05
4.78 90.57 31.26 903 20.25
21.56 86 22.38 654 19.93
14.09 80.86 21.49 956 14.72
32.31 87.6 7.7 865 12.59
11.18 89.71 41.01 930 21.49
13.8 86.33 29.69 938 22.04
25.34 81.56 31.3 1100 27.35
20.84 81.45 34.59 1024 25.82
39.6 64.9 38.47 1374 31.91
50
Eigenvalue Difference Proportion Cumulative
3.24917597 2.03464291 0.6498 0.6498
1.21453306 0.96296800 0.2429 0.8927
0.25156507 0.06743397 0.0503 0.9431
0.18413109 0.08353629 0.0368 0.9799
0.10059480 0.0201 1.0000
特征根与各因子的贡献
51
Factor1 Factor2
x1 -0.76062 0.55316
x2 0.56898 -0.76662
x3 0.89184 0.25374
x4 0.87066 0.34618
x5 0.89076 0.36962
没有旋转的因子结构
52
各旋转后的共同度
0.88454023 0.91143998 0.85977061 0.87789453 0.93006369
在这个例子中我们得到了两个因子，第一个因子是社会经济发展水平因子，第二个是计划生育因子。有了因子得分值后，则可以利用因子得分为变量，进行其他的统计分析。
Factor1 Factor2
x1 -0.35310 -0.87170
x2 0.07757 0.95154
x3 0.89114 0.25621
x4 0.92204 0.16655
x5 0.95149 0.15728
Factor1 Factor2
x1 -0.05897 -0.49252
x2 -0.05805 0.58056
x3 0.33042 0.03497
x4 0.35108 -0.02506
x5 0.36366 -0.03493
方差最大旋转后的因子结构 标准化得分函数
