zf
第六章 因子分析
2011-10-16 2
cxt
因子分析的重点
? 1、什么是因子分析?
? 2、理解因子分析的基本思想
? 3、因子分析的数学模型以及模型中公共因子、
因子载荷变量共同度的统计意义
? 4、因子旋转的意义
? 5、结合 SPSS软件进行案例分析
2011-10-16 3
cxt
6.1 因子分析的基本理论
? 1、什么是因子分析?
因子分析是主成分分析的推广,也是利用 降维 的
思想,由研究原始变量相关矩阵或协方差矩阵的内部
依赖关系出发,把一些具有错综复杂关系的多个变量
归结为少数几个综合因子的一种多元统计分析方法。
? 2、因子分析的基本思想,
把每个研究变量分解为几个影响因素变量,将每
个原始变量分解成两部分因素,一部分是由所有变量
共同具有的少数几个 公共因子 组成的,另一部分是每
个变量独自具有的因素,即 特殊因子 。
2011-10-16 4
cxt
?3、因子分析的目的,
? 因子分析的目的之一,简化变量维数。 即要使因素结
构简单化,希望以最少的共同因素(公共因子),能
对总变异量作最大的解释,因而抽取得因子愈少愈好,
但抽取因子的累积解释的变异量愈大愈好。
? 在因子分析的公共因子抽取中,应最先抽取特征值最
大的公共因子,其次是次大者,最后抽取公共因子的
特征值最小 通常会接近 0。
2011-10-16 5
cxt
? 例:在企业形象或品牌形象的研究中,消费者可以通过一个有
24个指标构成的评价体系,评价百货商场的 24个方面的优劣。
? 但消费者主要关心的是三个方面,即商店的环境、商店的服务
和商品的价格。因子分析方法可以通过 24个变量,找出反映商
店环境、商店服务水平和商品价格的三个潜在的因子,对商店
进行综合评价。而这三个公共因子可以表示为,
? 称 是不可观测的潜在因子,称为公共因子。 24个变
量共享这三个因子,但是每个变量又有自己的个性,不被包含
的部分,称为特殊因子。
iiiiii FFFx ????? ????? 332211
321 FFF,、
i?
2011-10-16 6
cxt
? 4、主成分分析分析与因子分析的联系和差异,
联系,( 1)因子分析是主成分分析的推广,是主成分分析的逆问
题。( 2)二者都是以 ‘ 降维 ’ 为目的,都是从协方差矩阵或相关系数
矩阵出发。
区别, ( 1) 主成分分析模型是原始变量的线性组合,是将原始变
量加以综合、归纳,仅仅是变量变换;而因子分析是将原始变量加以
分解,描述原始变量协方差矩阵结构的模型;只有当提取的公因子个
数等于原始变量个数时,因子分析才对应变量变换。( 2)主成分分析,
中每个主成分对应的系数是唯一确定的;因子分析中每个因子的相应
系数即因子载荷不是唯一的。( 3)因子分析中因子载荷的不唯一性有
利于对公因子进行有效解释;而主成分分析对提取的主成分的解释能
力有限。
2011-10-16 7
cxt
? 5、因子分析模型,
设 个变量, 如果表示为
iX
),,2,1( pi ?? p
11i i i im m iX a F a F??? ? ? ? ?L)( pm ?
1 1 11 12 1 11
2 2 21 22 2 22
12
m
m
p p p p pm pm
X F
X F
X F
? ? ? ? ?
? ? ? ? ?
? ? ? ? ?
? ? ? ? ? ? ? ???
? ? ? ? ? ? ? ???
? ? ? ? ? ? ? ???? ? ?
? ? ? ? ? ? ? ???
? ? ? ? ? ? ? ???
??? ? ? ? ? ? ? ?
L
L
M M M M M MM
L
或
?? ? ?X μ AF或
2011-10-16 8
cxt
( 1)
( 2)
称为 公共因子, 是不可观测的变量,
他们的系数称为因子载荷 。 是特殊因子, 是不能被
前 m个公共因子包含的部分 。 其中,
mFFF,,,21 ?
i?
c o v (,) 0,F ? ??,F 相互独立即不相关;
IFD ?
?
?
?
?
?
?
?
?
?
?
?
?
?
1
1
1
)(
?
mFFF,,,21 ?即 互不相关,方差为 1。
2011-10-16 9
cxt
( 3) ?
?
?
?
?
?
?
?
?
?
?
?
?
2
2
2
2
1
)(
p
D
?
?
?
?
?
即互不相关, 方差不一定相等, 。
满足以上条件的, 称为 正交因子模型,
如果 ( 2 ) 不成立, 即 各公共因子之间不独立,
则因子分析模型为 斜交因子模型,
),0(~ 2ii N ??
IFD ?)(
2011-10-16 10
cxt
公因子 F1 公因子
F2
共同度
hi
特殊因子
δi
x1=代数 1 0.896 0.341 0.919 0.081
x2=代数 2 0.802 0.496 0.889 0.111
x3=几何 0.516 0.855 0.997 0.003
x4=三角 0.841 0.444 0.904 0.096
x5=解析几何 0.833 0.434 0.882 0.118
特征值 G 3.113 1.479 4.959 0.409
方差贡献率
(变异量)
62.26
%
29.58% 91.85%
因子分析案例
F1 体现逻辑思维和运算能力,F2 体现空间思维和推理能力
2011-10-16 11
cxt
? 6、因子分析模型中的几个重要统计量的意义,
( 1) 因子负荷量(或称因子载荷) ----是指因子结
构中原始变量与因子分析时抽取出的公共因子的相
关程度。
imim2i21i1*i FFFx ???? ??????
ij
ij
m
1i
j
m
1i
j
*
i
F j ),c o v ()F,c o v (
)F,c o v ()F,C o v ( x
?
??
??
?
??
??
?
?
?
?
kik
ikik
F
F
)v a r (*)v a r (
)*,c o v (r
ij
ji
ji
Fx
Fxr ?? ?
2011-10-16 12
cxt
在各公共因子不相关的前提下, ( 载荷矩阵
中第 i行, 第 j列的元素 ) 是随机变量 xi*与公共因
子 Fj的相关系数, 表示 xi*依赖于 Fj的程度 。 反映
了第 i个原始变量在第 j个公共因子上的相对重要性 。
因此 绝对值越大, 则公共因子 Fj与原有变量 xi
的关系越强 。
ij?
ij?
2011-10-16 13
cxt
( 2) 共同度 ----又称共性方差或公因子方差 ( community
或 common variance) 就是变量与每个公共因子之负荷量
的平方总和(一行中所有因素负荷量的平方和)。 变量
的共同度是因子载荷矩阵的第 i行的元素的平方和。记为
从共同性的大小可以判断这个原始实测变量与公共因
子间之关系程度。如因子分析案例中
共同度 h12=(0.896)平方 +(0.341)平方 =0.919
? 特殊因子方差(剩余方差) ----各变量的特殊因素影响大小就
是 1减掉该变量共同度的值。如 =1- 0.919 = 0.081
iX
。??? mj iji ah 1 22
2i?
2011-10-16 14
cxt
统计意义,
imimii
FaFaX ????? ?11* 两边求方差
)()()()( 2112 imimii VarFVaraFVaraXVar ????? ?
22
1
221
ii
m
j
iij ha ?? ???? ?
?
所有的公共因子和特殊因子对变量 的贡献为 1。 hi2反映了全
部公共因子对变量 Xi*的影响,是全部公共因子对变量方差所做出
的贡献,或者说 Xi*对公共因子的共同依赖程度,称为公共因子对
变量 Xi*的方差贡献。
Hi2接近于 1,表明该变量的原始信息几乎都被选取的公共因子
说明了。
特殊因子的方差,反映了原有变量方差中无法被公共因子
描述的比例。
*iX
2i?
2011-10-16 15
cxt
( 3) 特征值 ----是第 j个公共因子 Fj对于 X*的每一分量 Xi*所提
供的方差的总和。又称第 j个公共因子的方差贡献。即 每个
变量与某一共同因素之因素负荷量的平方总和 (因子载荷矩
阵中某一公共因子列所有因子负荷量的平方和)。
如因子分析案例中 F1的特征值 G=( 0.896) 平方 +
( 0.802)平方 +( 0.516)平方 +( 0.841)平方 +( 0.833)
平方 =3.113
( 4)方差贡献率 ----指公共因子对实测变量的贡献,又称变异
量 方差贡献率 =特征值 G/实测变量数 p,
是衡量公共因子相对重要性的指标,Gi越大,表明公共
因子 Fj对 X*的贡献越大,该因子的重要程度越高
如因子分析案例中 F1的贡献率为 3.113/5=62.26%
2011-10-16 16
cxt
6.2 因子的基本内容
? 1、因子分析的基本步骤,
( 1)因子分析的前提条件鉴定
考察原始变量之间是否存在较强的相关关系,是否适
合进行因子分析。因为,
因子分析的主要任务之一就是对原有变量中信息重
叠的部分提取和综合成因子,最终实现减少变量个数
的目的。所以要求原有变量之间应存在较强的相关关
系。否则,如果原有变量相互独立,不存在信息重叠,
也就无需进行综合和因子分析。
( 2)因子提取
研究如何在样本数据的基础上提取综合因子。
2011-10-16 17
cxt
( 3)因子旋转
通过正交旋转或斜交旋转使提取出的因子具有可
解释性。
( 4)计算因子得分
通过各种方法求解各样本在各因子上的得分,为
进一步分析奠定基础。
2011-10-16 18
cxt
? 2、因子分析前提条件 ——相关性分析,
分析方法主要有,
( 1)计算相关系数矩阵 (correlation
coefficients matrix)
如果相关系数矩阵中的大部分相关系数值
均小于 0.3,即各变量间大多为弱相关,原
则上这些变量不适合进行因子分析。
( 2)计算反映象相关矩阵( Anti-image
correlation matrix)
2011-10-16 19
cxt
反映象相关矩阵,如果其主对角线外的元素大多绝
对值较小,对角线上的元素值较接近 1,则说明这些变
量的相关性较强,适合进行因子分析。
其中主对角线上的元素为某变量的 MSA(Measure of
Sample Adequacy),
是变量 和变量 ( ) 间的简单相关系数,
是变量 和变量 ( ) 在控制了其他变量影响下的
偏相关系数,即净相关系数。 取值在 0和 1之间,
越接近 1,意味着变量 与其他变量间的相关性越强,
越接近 0则相关性越弱。
? ?
?
? ?
?
?
?
ij ij
ijij
ij
ij
i pr
r
M S A 22
2
ijr ix jx ij?
ijp
ix jx ij?
iMSA
ix
2011-10-16 20
cxt
( 3)巴特利特球度检验( Bartlett test of
sphericity)
该检验以原有变量的相关系数矩阵为出发点,其零
假设 H0是:相关系数矩阵为单位矩阵,即相关系数矩
阵主对角元素均为 1,非主对角元素均为 0。(即原始
变量之间无相关关系)。
依据相关系数矩阵的行列式计算可得其近似服从
卡方分布。如果统计量卡方值较大且对应的 sig值小于
给定的显著性水平 a时,零假设不成立。即说明相关系
数矩阵不太可能是单位矩阵,变量之间存在相关关系,
适合做因子分析。
2011-10-16 21
cxt
( 4) KMO(Kaiser-Meyer-Olkin)检验
KMO检验的统计量是用于比较变量间简单相关系数矩阵
和偏相关系数的指标,数学定义为,
KMO与 MSA区别是它将相关系数矩阵中的所有元素都加
入到了平方和计算中。 KMO值越接近 1,意味着变量间
的相关性越强,原有变量适合做因子分析;越接近 0,
意味变量间的相关性越弱,越不适合作因子分析。
Kaiser给出的 KMO度量标准,0.9以上非常适合; 0.8表
示适合; 0.7表示一般; 0.6表示不太适合; 0.5以下表
示极不适合。
? ?? ?
? ?
??
?
??
ij
ij
ij
ij
ij
ij
i pr
r
K M O 22
2
2011-10-16 22
cxt
? 3、因子提取和因子载荷矩阵的求解,
因子载荷矩阵求解的方法,
( 1)基于主成分模型的主成分分析法
( 2)基于因子分析模型的主轴因子法
( 3) 极大似然法
( 4)最小二乘法
( 5) a因子提取法
( 6)映象分析法
2011-10-16 23
cxt
( 1)基于主成分模型的主成分分析法 Principal
components
设随机向量 的均值为 ?,协方差为 ?,
为 ?的特征根,为对应的
标准化特征向量,则
? ??? pxxx,,,21 ?x
021 ???? p??? ? p21 u,,u,u ?
1
2
p
?
?
?
??
??
???
??
??
Σ = U U A A + D
O
2011-10-16 24
cxt
? 上式给出的 ?表达式是精确的,然而,它实际上是毫无
价值的,因为我们的目的是寻求用少数几个公共因子
解释,故略去后面的 p-m项的贡献,有,
? ?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
p
2
u
u
u
uuu
p
pp
?
?
?
???
?
?
2
11
2211
1
1 0
0 p
?
?
???
?? ??
???
????
?? ?? ??
???? ?
??
2
1 2 p
p
u
u
u u u
u
LO
M
2 11 11mmm m m m p?? ?? ? ??? ???? ? ?? ? ? ? ??1 1 2 2 ppu u u u u u u u u uLL
2011-10-16 25
cxt
? 上式有一个假定,模型中的特殊因子是不重要的,因
而从 ?的分解中忽略了特殊因子的方差。
12? ? ? ?mmm? ? ?? ? ? ?? ? ? ? ? ?1 1 2 2Σ A A + D u u u u u u DL
2 2 212? ? ? ?(,,,)pd i a g ? ? ??D L其 中
22
1
?
m
i ii ij
j
sa?
?
?? ?
11
2
1 1 2 2
? ?? ?
mm
pm
pm
mp
?
?
? ? ?
?
?
?
?? ?
??
???
?? ?? ? ? ?
????
??
?? ?
??
2
u
u
u u u D A A D
u
L
M
2011-10-16 26
cxt
例, 假定某地固定资产投资率,通货膨胀率,
失业率,相关系数矩阵为
试用主成分分析法求因子分析模型。
1x 2x
3x
?
?
?
?
?
?
?
?
?
?
??
?
15/25/1
5/215/1
5/15/11
2011-10-16 27
cxt
(1)求解特征根
(2)求解特征向量,
(3)因子载荷矩阵,
55.11 ?? 85.02 ?? 6.03 ??
?
?
?
?
?
?
?
?
?
?
?
??
6.0707.085.0331.055.1629.0
6.0707.085.0331.055.1629.0
085.0883.055.1475.0
A
?
?
?
?
?
?
?
?
?
?
?
???
7 0 7.03 3 1.06 2 9.0
7 0 7.03 3 1.06 2 9.0
08 8 3.04 7 5.0
U
?
?
?
?
?
?
?
?
?
?
?
??
548.0305.0783.0
548.305.0783.0
0814.0569.0
2011-10-16 28
cxt
(4)因子分析模型,
可取前两个因子 F1和 F2为公共因子,第一公因子 F1
物价就业因子,对 X的贡献为 1.55。第一公因子 F2为投
资因子,对 X的贡献为 0.85。共同度分别为 1,0.706,
0.706。
211 814.0569.0 FFx ??
3212 548.0305.0783.0 FFFx ???
3213 5 4 8.03 0 5.07 8 3.0 FFFx ????
2011-10-16 29
cxt
( 2)基于因子分析模型的主轴因子法 Principal
axis factoring
是对主成分方法的修正,假定我们首先对变量进
行标准化变换。则
R=AA’+D
R*=AA’=R-D
称 R*为约相关矩阵,R*对角线上的元素是,而不是 1。
2ih
2011-10-16 30
cxt
直接求 R*的前 p个特征根和对应的正交特征向
量。得如下的矩阵,
2
1 1 2 1
2
2 1 2 2
2
12
?
?
?
?
p
p
p p p
h r r
r h r
R
r r h
?
??
??
??
??
??
??
??
??
R - D
L
L
M M M
L
* * * * * *
1 1 2 2 pp? ? ???? ??A u u uL
* * *1 0p??? ? ?R L特 征 根,
* * *12,,,pu u uL正 交 特 征 向 量,
2011-10-16 31
cxt
当特殊因子 的方差已知,i?
2
1
2
2
2
p
?
?
?
?
??
??
?
??
????
RR
O
=
**
11
**
* * * * * * 22
1 1 2 2
**
pp
pp
?
?
? ? ?
?
?? ?
??
?? ?
??? ??
??
??
??
???
??
u
u
u u u
u
L
M
* * * * * *1 1 2 2 mm? ? ????A u u uL
2
1
2
?1
?1
0
0 p
h
h
???
??
?
?? ?
??
D O
2011-10-16 32
cxt
方差矩阵未知, 估计的方法有如下几种,
1)取,在这个情况下主因子解与主成分解等价;
2)取, 为 xi与其他所有的原始变量 xj的复相关系
数的平方,即 xi对其余的 p-1个 xj的回归方程的判定系数,这是
因为 xi 与公共因子的关系是通过其余的 p-1个 xj 的线性组合联
系起来的;
3)取,这意味着取 xi与其余的 xj的简
单相关系数的绝对值最大者;
12 ?ih
22 ii Rh ? 2iR
)(||m a? 2 ijrh iji ??
2011-10-16 33
cxt
4)取,其中要求该值为正数。
5) 取, 其中 是 的对角元素 。
?
???
? p
jij iji
rph
,1
2
1
1
iii rh /12 ? iir 1?R
2011-10-16 34
cxt
例,假定某地固定资产投资率,通货膨胀率,失业率,
相关系数矩阵为
试用主因子分析法求因子分析模型。假定用
代替初始的 。 。
1x 2x 3x
?
?
?
?
?
?
?
?
?
?
??
?
15/25/1
5/215/1
5/15/11
)(||m a x? 2 ijrh iji ??
2ih 52,1,51 232221 ??? hhh
?
?
?
?
?
?
?
?
?
?
??
?
?
?
?
?
?
?
?
?
?
?
?
?
??
?
?
221
251
111
5
1
5/25/25/1
5/215/1
5/15/15/1
*R
2011-10-16 35
cxt
( 1)求解特征根,
( 2)对应的非 0特征向量,
( 3)因子载荷矩阵表,
9 1 2 3.01 ?? 0 8 7 7.02 ?? 03 ??
?
?
?
?
?
?
?
?
?
?
?
?
2 6 1.06 5 7.0
2 6 1.06 5 7.0
9 2 9.03 6 9.0
?
?
?
?
?
?
?
?
?
?
?
?
0877.0261.09123.0657.0
0877.0261.09123.0657.0
0877.0929.09123.0369.0
?
?
?
?
?
?
?
?
?
?
?
??
077.0628.0
077.0628.0
275.0352.0
2011-10-16 36
cxt
( 4)因子分析模型,
( 5)新的共同度,
1211 275.0352.0 ???? FFx
2212 0 7 7.06 2 5.0 ???? FFx
3211 077.0682.0 ????? FFx
1 8 1 2 9.02 7 5.03 5 2.0 2221 ???h
3 9 6 6.00 7 7.06 2 5.0 2222 ???h
4 7 1 0.00 7 7.06 8 2.0 2223 ???h
2011-10-16 37
cxt
? 4、因子旋转,
为什么要旋转因子?
建立了因子分析数学目的不仅仅要找出公共因子以及
对变量进行分组,更重要的要知道每个公共因子的意
义,以便进行进一步的分析,如果每个公共因子的含
义不清,则不便于进行实际背景的解释。 由于因子载
荷阵是不惟一的,所以应该对因子载荷阵进行旋转。
目的是 使每个变量在尽可能少的因子上有比较高的载
荷,让某个变量在某个因子上的载荷趋于 1,而在其他
因子上的载荷趋于 0。即,使载荷矩阵每列或行的元素
平方值向 0和 1两极分化。
2011-10-16 38
cxt
奥运会十项全能运动项目
得分数据的因子分析
百米跑成绩
跳远成绩
铅球成绩
跳高成绩
400米跑成绩
百米跨栏
铁饼成绩
撑杆跳远成绩
标枪成绩
1500米跑成绩
1X
2X
3X
4X
5X
6X
7X
8X
9X
10X
2011-10-16 39
cxt
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
???? 102.017.002.001.039.018.008.009.007.0
124.034.018.013.017.044.021.011.0
124.033.023.039.024.036.020.0
132.017.027.073.031.028.0
134.046.036.052.040.0
129.019.049.063.0
138.051.034.0
142.035.0
159.0
1
2011-10-16 40
cxt
因
子
载
荷
矩
阵
因子载荷矩阵可以看出,除第一因子在所有的变量在公共因子上有
较大的正载荷,可以称为一般运动因子。其他的 3个因子不太容易解释。
似乎是跑和投掷的能力对比,似乎是长跑耐力和短跑速度的对比。于
是考虑旋转因子,得下表
变量 共同度
0,691 0, 2 1 7 - 0, 5 8 - 0, 2 0 6 0, 8 4
0,789 0, 1 8 4 - 0, 1 9 3 0, 0 9 2 0, 7
0,702 0, 5 3 5 0, 0 4 7 - 0, 1 7 5 0, 8
0,674 0, 1 3 4 0, 1 3 9 0, 3 9 6 0, 6 5
0,62 0, 5 5 1 - 0, 0 8 4 - 0, 4 1 9 0, 8 7
0,687 0, 0 4 2 - 0, 1 6 1 0, 3 4 5 0, 6 2
0,621 - 0, 5 2 1 0, 1 0 9 - 0, 2 3 4 0, 7 2
0,538 0, 0 8 7 0, 4 1 1 0, 4 4 0, 6 6
0, 4 3 4 - 0, 4 3 9 0, 3 7 2 - 0, 2 3 5 0, 5 7
0, 1 4 7 0, 5 9 6 0, 6 5 8 - 0, 2 7 9 0, 8 9
1
F
2
F
3
F
4
F
1
X
2
X
3
X
4
X
5
X
6
X
7
X
8
X
9
X
10
X
2011-10-16 41
cxt
变量 共同度
0,844
*
0, 1 3 6 0, 1 5 6 - 0, 1 1 3 0, 8 4
0,631
*
0, 1 9 4
0, 5 1 5
*
- 0, 0 0 6 0, 7
0,243
0, 8 2 5
*
0, 2 2 3 - 0, 1 4 8 0, 8 1
0,239 0, 1 5
0, 7 5 0
*
0, 0 7 6 0, 6 5
0,797
*
0, 0 7 5 0, 1 0 2 0, 4 6 8 0, 8 7
0,404 0, 1 5 3
0, 6 3 5
*
- 0, 1 7 0, 6 2
0,186
0, 8 1 4
*
0, 1 4 7 - 0, 0 7 9 0, 7 2
- 0,036 0, 1 7 6
0, 7 6 2
*
0, 2 1 7 0, 6 6
- 0, 0 4 8
0, 7 3 5
*
0, 1 1 0, 1 4 1 0, 5 7
0, 0 4 5 - 0, 0 4 1 0, 1 1 2
0, 9 3 4
*
0, 8 9
1
F
2
F
3
F
4
F
1
X
2
X
3
X
4
X
5
X
6
X
7
X
8
X
9
X
10
X
旋转变幻后因子载荷矩阵
2011-10-16 42
cxt
通过旋转, 因子有了较为明确的含义 。 百米跑,
跳远和 400米跑, 需要爆发力的项目在 有较大的载
荷, 可以称为短跑速度因子;
铅球, 铁饼和 标枪在 上有较大的载荷, 可
以称为爆发性臂力因子;
百米跨栏, 撑杆跳远, 跳远和为 跳高在
上有较大的载荷, 爆发腿力因子; 长跑耐力因子 。
2X
5X 1F
1F
3X 7X 9X 2F
6X 8X 2X 4X
3F
3F
4F
1X
2011-10-16 43
cxt
旋转的方法 有,( 1)正交旋转;( 2)斜交旋转
( 1)正交旋转
由初始载荷矩阵 A左乘一正交矩阵得到; 目的是新的
载荷系数尽可能的接近于 0或尽可能的远离 0;只是在
旋转后的新的公因子仍保持独立性。主要有以下方法,
varimax:方差最大旋转。简化对因子的解释
quartmax:四次最大正交旋转。简化对变量的解释
equamax:等量正交旋转
2011-10-16 44
cxt
A,方差最大法
方差最大法从简化因子载荷矩阵的每一 列 出发,
使和每个因子有关的载荷的平方的方差最大。当只有
少数几个变量在某个因子上有较高的载荷时,对因子
的解释最简单。 方差最大的直观意义是希望通过因子
旋转后,使每个因子上的载荷尽量拉开距离,一部分
的载荷趋于 ?1,另一部分趋于 0。
2011-10-16 45
cxt
B,四次方最大旋转
四次方最大旋转是从简化载荷矩阵的 行 出发,通过旋
转初始因子,使每个变量只在一个因子上有较高的载
荷,而在其它的因子上尽可能低的载荷。如果每个变
量只在一个因子上有非零的载荷,这时的因子解释是
最简单的。
四次方最大法通过使因子载荷矩阵中每一行的因子
载荷平方的方差达到最大。
2011-10-16 46
cxt
C,等量最大法
等量最大法把四次方最大法和方差最大法结合起
来求行和列因子载荷平方的方差的加权平均最大。
2011-10-16 47
cxt
( 2)斜交旋转
目的是新的载荷系数尽可能的接近于 0或尽可能的
远离 0;只是在旋转时,放弃了因子之间彼此独立的限
制,旋转后的新公因子更容易解释。主要有以下的方法,
direct oblimin:直接斜交旋转。允许因子之间具有相关性;
promax:斜交旋转方法。允许因子之间具有相关性;
2011-10-16 48
cxt
? 5、因子得分
因子得分的概念
前面我们主要解决了用公共因子的线性组合来表示
一组观测变量的有关问题。如果我们要使用这些因子
做其他的研究,比如把得到的因子作为自变量来做回
归分析,对样本进行分类或评价,这就需要我们对公
共因子进行测度,即给出 公共因子的值 。
2011-10-16 49
cxt
例,人均要素变量因子分析 。 对我国 32个省市自治区的要素状况作
因子分析 。 指标体系中有如下指标,
X1, 人口(万人) X2, 面积(万平方公里)
X3, GDP( 亿元) X4, 人均水资源(立方米 /人)
X5,人均生物量(吨 /人) X6,万人拥有的大学生数(人)
X7,万人拥有科学家、工程师数(人)
Rotated Factor Pattern FACTOR1 FACTOR2 FACTOR3
X1 -0.21522 -0.27397 0.89092
X2 0.63973 -0.28739 -0.28755
X3 -0.15791 0.06334 0.94855
X4 0.95898 -0.01501 -0.07556
X5 0.97224 -0.06778 -0.17535
X6 -0.11416 0.98328 -0.08300
X7 -0.11041 0.97851 -0.07246
2011-10-16 50
cxt
X1=-0.21522F1-0.27397F2+0.89092F3
X2=0.63973F1-0.28739F2-0.28755F3
X3=-0.15791F1+0.06334F2+0.94855F3
X4=0.95898F1-0.01501F2-0.07556F3
X5=0.97224F1-0.06778F2-0.17535F3
X6=-0.11416F1+0.98328F2-0.08300F3
X7=-0.11041F1+0.97851F2-0.07246F3
2011-10-16 51
cxt
高载荷指标
因子命名
因子 1
X2; 面积 ( 万平方公里 )
X4:人均水资源 ( 立方米 /人 )
X5:人均生物量 ( 吨 /人 )
自然资源因子
因子 2
X6,万人拥有的大学生数 ( 人 )
X7,万人拥有的科学家, 工程师数 (
人 )
人力资源因子
因子 3
X1;人口 ( 万人 )
X3:GDP(亿元 )
经济发展总量因子
2011-10-16 52
cxt
Standardized Scoring Coefficients
FACTOR1 FACTOR2 FACTOR3
X1 0.05764 -0.06098 0.50391
X2 0.22724 -0.09901 -0.07713
X3 0.14635 0.12957 0.59715
X4 0.47920 0.11228 0.17062
X5 0.45583 0.07419 0.10129
X6 0.05416 0.48629 0.04099
X7 0.05790 0.48562 0.04822
F1=0.05764X1+0.22724X2+0.14635X3+0.47920X4+0.45583X5+0.05416X6+0.05790X7
F2=-0.06098X1-0.09901X2+0.12957X3+0.11228X4+0.07419X5+0.48629X6+0.48562X7
F3=0.50391X1-0.07713X2+0.59715X3+0.17062X4+0.10129X5+0.04099X6+0.04822X7
2011-10-16 53
cxt
前三个因子得分
REGION
FACTOR1
FACTOR2
FACTOR3
beijing?
-0.08169
4.23473
-0.37983
tianjin
-0.47422
1.31789
-0.87891
hebei
-0.22192
-0.35802
0.86263
shanxi1
-0.48214
-0.32643
-0.54219
neimeng
0.54446
-0.66668
-0.92621
liaoning
-0.20511
0.46377
0.34087
jilin
-0.21499
0.10608
-0.57431
heilongj
0.10839
-0.11717
-0.02219
shanghai
-0.20069
2.38962
-0.04259
2011-10-16 54
cxt
因子分析的数学模型为,
原变量被表示为公共因子的线性组合,当载荷矩阵旋
转之后,公共因子可以做出解释,通常的情况下,我
们还想反过来把公共因子表示为原变量的线性组合。
因子得分函数,
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
mpmpp
m
m
n F
F
F
X
X
X
?
?
???
?
?
?
2
1
21
22221
11211
2
1
???
???
???
pjpjj XXF ?? ??? ?11 mj,,1 ??
2011-10-16 55
cxt
? 可见,要求得每个因子的得分,必须求得分函数的
系数,而由于 p>m,所以不能得到精确的得分,只
能通过估计。
? 因子得分的 计算方法,
( 1)运用回归分析思想求解
( 2) Bartlett
( 3) Anderson-rubin
2011-10-16 56
cxt
( 1)运用回归分析思想求解
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
nmnmnn
m
m
n F
F
F
X
X
X
?
?
?
???
???
???
??
?
???
?
?
?
2
1
2
1
21
22221
11211
2
1
pjpjj XbXbF ??? ?11? mj,,1 ??
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
mmpmm
p
p
bbb
bbb
bbb
b
b
b
?
?
???
?
?
2
1
21
22221
11211
2011-10-16 57
cxt
)( jiFxij FXEji ?? ??
)]([ 11 pjpji XbXbXE ??? ?
ipjpij bb ?? ??? ?11? ?
?
?
?
?
?
?
?
?
?
?
?
?
?
jp
j
j
ipii
b
b
b
rrr
?
?
2
1
21
则,我们有如下的方程组,
2011-10-16 58
cxt
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
pj
j
j
jp
j
j
pppp
p
p
a
a
a
b
b
b
??
?
???
?
?
2
1
2
1
21
22221
11211
???
???
???
j=1,2,…,m
矩阵为原始变量的相关系数
?
?
?
?
?
?
?
?
?
?
?
?
pppp
p
p
???
???
???
?
???
?
?
21
22221
11211
2011-10-16 59
cxt
个因子得分函数的系数为第 j
b
b
b
jp
j
j
?
?
?
?
?
?
?
?
?
?
?
?
?
2
1
列为载荷矩阵的第 j
a
a
a
pj
j
j
?
?
?
?
?
?
?
?
?
?
?
?
?
2
1
注:共需要解 m次才能解出 所有的得分函数的系数。
2011-10-16 60
cxt
( 2) Bartlett法 (即:加权最小二乘法)
? 把一个个体的 p个变量的取值 X*当作因变量,把求因子
解中得到的 A作为自变量数据阵,对于这个个体在公因
子上的取值 f,当作未知参数,而特殊因子的取值看作
误差 e,于是得到如下的线性回归模型,x*=Af+e,则
称未知参数 f为取值为 X*的因子得分。
? ? *111? XAAAf ??? ??? ??
ee
n
eAfX
eAfX
??
??
??
???
1
*
*
2
1
2
1
2
1
?
???
其中:
最小二乘法
2011-10-16 61
cxt
( 3) Anderson-rubin( 略)
2011-10-16 62
cxt
案例分析,
国民生活质量的因素分析
国家发展的最终目标, 是为了全面提高全体国民的生活质量,
满足广大国民日益增长的物质和文化的合理需求 。 在可持续发展
消费的统一理念下, 增加社会财富, 创造更多的物质文明和精神
文明, 保持人类的健康延续和生生不息, 在人类与自然协同进化
的基础上, 维系人类与自然的平衡, 达到完整的代际公平和区际
公平 (即时间过程的最大合理性与空间分布的最大合理化 )。
从 1990年开始, 联合国开发计划署 (UYNP)首次采用 ? 人文发展
系数 ? 指标对于国民生活质量进行测度 。 人文发展系数利用三类
内涵丰富的指标组合, 即人的健康状况 (使用出生时的人均预期寿
命表达 ),人的智力程度 (使用组合的教育成就表达 ),人的福利水
平 (使用人均国民收入或人均 GDP表达 ),并且特别强调三类指标组
合的整体表达内涵, 去衡量一个国家或地区的社会发展总体状况
以及国民生活质量的总水平 。
2011-10-16 63
cxt
在这个指标体系中有如下的指标,
X1——预期寿命
X2——成人识字率
X3——综合入学率
X4——人均 GDP( 美圆 )
X5——预期寿命指数
X6——教育成就指数
X7——人均 GDP指数
2011-10-16 64
cxt
旋转后的因子结构 Rotated Factor Pattern
FACTOR1 FACTOR2 FACTOR3
X1 0.38129 0.41765 0.81714
X2 0.12166 0.84828 0.45981
X3 0.64803 0.61822 0.22398
X4 0.90410 0.20531 0.34100
X5 0.38854 0.43295 0.80848
X6 0.28207 0.85325 0.43289
X7 0.90091 0.20612 0.35052
FACTOR1为经济发展因子
FACTOR2为教育成就因子
FACTOR3为健康水平因子
2011-10-16 65
cxt
被每个因子解释的方差和共同度,
Variance explained by each factor
FACTOR1 FACTOR2 FACTOR3
2.439700 2.276317 2.009490
Final Communality Estimates,Total = 6.725507
X1 X2 X3 X4 X5
0.987530 0.945796 0.852306 0.975830 0.992050
X6 X7
0.994995 0.976999
2011-10-16 66
cxt
Standardized Scoring Coefficients标准化得分系数
FACTOR1 FACTOR2 FACTOR3
X1 -0.18875 -0.34397 0.85077
X2 -0.24109 0.60335 -0.10234
X3 0.35462 0.50232 -0.59895
X4 0.53990 -0.17336 -0.10355
X5 -0.17918 -0.31604 0.81490
X6 -0.09230 0.62258 -0.24876
*6*5*4*3*2*1 0 9 2 3 0.01 7 9 1 8.05399.03 5 4 6 2.02 4 1 0 9.01 8 8 7 5.01 xxxxxxf ???????
*6*5*4*3*2*1 62258.031604.017336.050232.060335.034397.02 xxxxxxf ???????
*6*5*4*3*2*1 2 4 8 7 6.08 1 4 9 0.01 0 3 3 5.05 9 8 9 5.01 0 2 3 4.08 5 0 7 7.03 xxxxxxf ??????
2011-10-16 67
cxt
生育率的影响因素分析
生育率受社会、经济、文化、计划生育政策等很多因素
影响,但这些因素对生育率的影响并不是完全独立的,而是
交织在一起,如果直接用选定的变量对生育率进行多元回归
分析,最终结果往往只能保留两三个变量,其他变量的信息
就损失了。因此,考虑用因子分析的方法,找出变量间的数
据结构,在信息损失最少的情况下用新生成的因子对生育率
进行分析。
选择的变量有:多子率、综合节育率、初中以上文化程
度比例、城镇人口比例、人均国民收入。下表是 1990年中国
30个省、自治区、直辖市的数据。
2011-10-16 68
cxt
多子率( % ) 综合节育率( % ) 初中以上文化程度比例( % ) 人均国民收入(元) 城镇人口比例( % )
0.94 89.89 64.51 3577 73.08
2.58 92.32 55.41 2981 68.65
13.46 90.71 38.2 1148 19.08
12.46 90.04 45.12 1124 27.68
8.94 90.46 41.83 1080 36.12
2.8 90.17 50.64 2011 50.86
8.91 91.43 46.32 1383 42.65
8.82 90.78 47.33 1628 47.17
0.8 91.47 62.36 4822 66.23
5.94 90.31 40.85 1696 21.24
2.6 92.42 35.14 1717 32.81
7.07 87.97 29.51 933 17.9
14.44 88.71 29.04 1313 21.36
15.24 89.43 31.05 943 20.4
3.16 90.21 37.85 1372 27.34
9.04 88.76 39.71 880 15.52
12.02 87.28 38.76 1248 28.91
11.15 89.13 36.33 976 18.23
22.46 87.72 38.38 1845 36.77
24.34 84.86 31.07 798 15.1
33.21 83.79 39.44 1193 24.05
4.78 90.57 31.26 903 20.25
21.56 86 22.38 654 19.93
14.09 80.86 21.49 956 14.72
32.31 87.6 7.7 865 12.59
11.18 89.71 41.01 930 21.49
13.8 86.33 29.69 938 22.04
25.34 81.56 31.3 1100 27.35
20.84 81.45 34.59 1024 25.82
39.6 64.9 38.47 1374 31.91
2011-10-16 69
cxt
特征根与各因子的贡献
Eigenvalue
Difference
Proportion
Cumulative
3.24917597
2.03464291
0.6498
0.6498
1.21453306
0.96296800
0.2429
0.8927
0.25156507
0.06743397
0.0503
0.9431
0.18413109
0.08353629
0.0368
0.9799
0.10059480
0.0201
1.0000
2011-10-16 70
cxt
没有旋转的因子结构
Factor1
Factor2
x1
-0.76062
0.55316
x2
0.56898
-0.76662
x3
0.89184
0.25374
x4
0.87066
0.34618
x5
0.89076
0.36962
2011-10-16 71
cxt
各旋转后的共同度
0.88454023
0.91143998
0.85977061
0.87789453
0.93006369
Factor1可解释方差
Factor2可解释方差
2.9975429
2.1642615
2011-10-16 72
cxt
在这个例子中我们得到了两个因子,第一个因子是社会经济
发展水平因子,第二个是计划生育因子。有了因子得分值后,则
可以利用因子得分为变量,进行其他的统计分析。
Factor1
Factor2
x1
-0.35310
-0.87170
x2
0.07757
0.95154
x3
0.89114
0.25621
x4
0.92204
0.16655
x5
0.95149
0.15728
Factor1
Factor2
x1
-0.05897
-0.49252
x2
-0.05805
0.58056
x3
0.33042
0.03497
x4
0.35108
-0.02506
x5
0.36366
-0.03493
方差最大旋转后的因子结构 标准化得分函数
2011-10-16 73
cxt
6.3 因子分析的上机操作
问题 题 项
从未
使用
很少
使用
有时
使用
经常
使用
总是
使用
1 2 3 4 5
A1 电脑
A2 录音磁带
A3 录像带
A4 网上资料
A5 校园网或因特
网
A6 电子邮件
A7 电子讨论网
A8 CAI课件
A9 视频会议
A10 视听会议
2011-10-16 74
cxt
题目
编号 A1 A2 A3 A4 A5 A6 A7 A8 A9 A10
01 1 5 5 1 1 1 1 1 1 1
02 2 5 5 2 2 2 1 2 1 1
03 4 3 3 3 4 3 1 4 1 1
04 4 3 4 4 4 4 2 4 2 2
05 4 4 3 3 4 4 1 4 1 1
06 4 3 3 3 3 4 2 3 2 1
07 4 4 4 4 3 3 2 4 1 1
08 1 5 3 1 1 1 1 1 1 1
09 4 4 5 4 4 4 2 4 1 1
10 5 4 3 5 5 4 3 5 3 3
11 5 4 3 4 4 4 2 5 2 2
12 5 4 5 4 4 4 3 5 2 2
13 3 5 5 2 2 2 1 3 1 1
14 5 3 4 3 3 3 2 5 2 2
15 4 5 5 3 3 3 2 5 2 2
16 4 4 4 4 3 5 1 4 1 1
17 5 4 4 5 5 5 4 5 4 4
18 5 4 4 2 3 4 1 5 1 1
19 5 4 5 5 5 5 3 5 3 3
20 5 4 4 5 5 5 2 5 2 1
2011-10-16 75
cxt
( 01)建立数据文件
2011-10-16 76
cxt
( 02)选择分析变量
—— 选 SPSS [Analyze]菜单中的( Data Reduction) →
( Factor),出现 【 Factor Analysis】 对话框;
—— 在 【 Factor Analysis】 对话框中左边的原始变量中,选
择将进行因子分析的变量选入( Variables) 栏。
2011-10-16 77
cxt
( 03)设置描述性统计量
—— 在 【 Factor Analysis】 框中选 【 Descriptives】 按
钮,出现 【 Descriptives 】 对话框;
—— 选择 Initial solution ( 未转轴的统计量)选项
—— 选择 KMO 选项
—— 点击( Contiue) 按钮确定。
2011-10-16 78
cxt
2011-10-16 79
cxt
( 04)设置对因子的抽取选项
—— 在 【 Factor Analysis】 框中点击 【 Extraction】 按钮,
出现 【 Factor Analysis:Extraction】 对话框;
—— 在 Method 栏中选择( Principal components) 选项;
—— 在 Analyze 栏中选择 Correlation matrix选项;
—— 在 Display 栏中选择 Unrotated factor solution选项;
—— 在 Extract 栏中选择 Eigenvalues over 并填上 1 ;
—— 点击( Contiue) 按钮确定,回到 【 Factor Analysis】
对话框中。
2011-10-16 80
cxt
2011-10-16 81
cxt
2011-10-16 82
cxt
( 05)设置因子转轴
—— 在 【 Factor Analysis】 对话框中,点击 【 Rotation】
按钮,出现 【 Factor Analysis:Rotation 】( 因子分析:旋
转)对话框。
—— 在 Method 栏中选择 Varimax( 最大变异法)
—— 在 Display栏中选择 Rotated solution( 转轴后的解)
—— 点击( Contiue) 按钮确定,回到 【 Factor Analysis】
对话框中。
2011-10-16 83
cxt
2011-10-16 84
cxt
( 06)设置因素分数
—— 在 【 Factor Analysis】 对话框中,点击【 Scores】
按钮,出现 【 Factor Analysis,Scores 】( 因素分析:分
数)对话框。
—— 一般取默认值。
—— 点击( Contiue) 按钮确定,回到 【 Factor Analysis】
对话框。
2011-10-16 85
cxt
2011-10-16 86
cxt
( 07)设置因子分析的选项
—— 在 【 Factor Analysis】 对话框中,单击 【 Options】 按钮,出
现 【 Factor Analysis:Options 】( 因素分析:选项)对话框。
—— 在 Missing Values 栏中选择 Exclude cases listwise(完全排除
缺失值 )
—— 在 Coefficient Display Format(系数显示格式 )栏中选择 Sorted
by size( 依据因素负荷量排序)项;
—— 在 Coefficient Display Format(系数显示格式 )勾选 ? Suppress
absolute values less than”,其后空格内的数字不用修改,默认为
0.1。
—— 如果研究者要呈现所有因素负荷量,就不用选取 ? Suppress
absolute values less than”选项。在例题中为了让研究者明白此项
的意义,才勾选了此项,正式的研究中应呈现题项完整的因素负荷量
较为适宜。
—— 单击 ? Continue”按钮确定。
2011-10-16 87
cxt
2011-10-16 88
cxt
2011-10-16 89
cxt
对 SPSS因子分析结果的解释
1,取样适当性( KMO) 检验
—— KMO值越大,表示变量间的共同因素越多,越适合进
行因素分析,要求 KMO>0.5
—— 要求 Barlett’s的卡方值达到显著程度
K M O a n d B a r t l e t t ' s T e s t
,6 9 5
2 3 4, 4 3 8
45
,0 0 0
K a is e r - M e y e r - O lk in M e a s u r e o f S a m p lin g
A d e q u a c y,
A p p r o x, C h i- S q u a r e
df
S ig,
B a r t le t t ' s T e s t o f
S p h e r ic it y
2011-10-16 90
cxt
2.共同度检查
C o m m u n a l i t i e s
1, 0 0 0, 9 2 8
1, 0 0 0, 7 3 8
1, 0 0 0, 9 0 0
1, 0 0 0, 8 7 2
1, 0 0 0, 9 0 1
1, 0 0 0, 8 6 7
1, 0 0 0, 9 1 9
1, 0 0 0, 9 0 7
1, 0 0 0, 9 6 5
1, 0 0 0, 9 3 9
A1
A2
A3
A4
A5
A6
A7
A8
A9
A 1 0
I n it ia l E x t r a c t i o n
E x t r a c t i o n M e t h o d, P r in c ip a l C o mp o n e n t A n a l y s is,
2011-10-16 91
cxt
3.因子陡坡检查,除去坡线平坦部分的因子
图中第三个因子以后较为平坦,故保留 3个因子
S c r ee P l o t
C o m p o n e n t N u m b e r
10987654321
E
ig
e
n
v
a
lu
e
7
6
5
4
3
2
1
0
2011-10-16 92
cxt
4.方差贡献率检验
—— 取特征值大于 1 的因子,共有 3 个,分别( 6.358)
( 1.547)( 1.032) ;
—— 变异量分别为( 63.58%)( 15.467%)( 10.32%)
To t a l V a r i a n c e E x p l a i n e d
6, 3 5 8 6 3, 5 7 9 6 3, 5 7 9 6, 3 5 8 6 3, 5 7 9 6 3, 5 7 9 4, 3 8 9 4 3, 8 8 5 4 3, 8 8 5
1, 5 4 7 1 5, 4 6 7 7 9, 0 4 6 1, 5 4 7 1 5, 4 6 7 7 9, 0 4 6 3, 1 3 7 3 1, 3 7 2 7 5, 2 5 7
1, 0 3 2 1 0, 3 2 0 8 9, 3 6 6 1, 0 3 2 1 0, 3 2 0 8 9, 3 6 6 1, 4 1 1 1 4, 1 0 8 8 9, 3 6 6
,4 0 8 4, 0 8 1 9 3, 4 4 7
,2 9 1 2, 9 1 0 9 6, 3 5 7
,1 5 6 1, 5 6 4 9 7, 9 2 1
,1 1 0 1, 1 0 4 9 9, 0 2 5
6, 0 5 6 E - 0 2, 6 0 6 9 9, 6 3 1
3, 3 6 8 E - 0 2, 3 3 7 9 9, 9 6 8
3, 2 2 2 E - 0 3 3, 2 2 2 E - 0 2 1 0 0, 0 0 0
C o mp o n e n t
1
2
3
4
5
6
7
8
9
10
T o t a l % o f V a r ia n c e C u mu la t iv e % T o t a l % o f V a r ia n c e C u mu la t iv e % T o t a l % o f V a r ia n c e C u mu la t iv e %
I n it ia l E ig e n v a lu e s E x t r a c t i o n S u ms o f S q u a r e d L o a d in g s R o t a t io n S u ms o f S q u a r e d L o a d i n g s
E x t r a c t i o n M e t h o d, P r in c ip a l C o mp o n e n t A n a ly s is,
2011-10-16 93
cxt
5.显示未转轴的因子矩阵
C o m p o n e n t M a t r i x
a
,9 3 9, 1 0 2
,9 2 2, 1 4 5
,9 0 1 -, 2 4 3, 2 3 9
,8 8 7 -, 1 9 4, 2 8 7
,8 7 4 -, 2 0 6, 2 4 5
,8 2 3, 4 7 4 -, 1 2 9
,8 1 3, 4 0 1 -, 3 7 7
,7 5 3, 4 9 5 -, 3 5 8
-, 5 7 4, 6 0 5, 2 0 6
-, 1 6 4, 6 3 3, 6 8 7
A5
A4
A1
A8
A6
A7
A9
A 1 0
A2
A3
1 2 3
C o mp o n e n t
E x t r a c t i o n M e t h o d, P r in c ip a l C o mp o n e n t A n a l y s is,
3 co mp o n e n t s e x t r a ct e d,a,
2011-10-16 94
cxt
6,分析转轴后的因子矩阵 ----根据因子负荷量形成 3个公共因子
R ot a t e d C om p on e n t M a t r i x
a
,9 1 5, 2 6 6 -, 1 4 1
,9 1 2, 2 6 6
,8 8 4, 2 7 1 -, 1 0 7
,8 2 4, 4 4 8 -, 1 4 7
,7 8 9, 4 9 8
,2 3 7, 9 3 9
,3 0 8, 9 2 4 -, 1 2 9
,4 1 7, 8 5 8
, 9 4 8
-, 5 5 7, 6 5 2
A1
A8
A6
A5
A4
A 1 0
A9
A7
A3
A2
1 2 3
C o m p on e n t
E x t r a c t i o n M e t h o d, P r in ci p a l C o m p on e n t A n a ly s is,
R o t a t io n Me t h o d, V a r im a x w it h K a is e r N o r m a l iz a t io n,
R o t a t io n c o n v e r g e d in 5 i t e r a t ion s,a,
2011-10-16 95
cxt
7,形成综合分析结果
题项
贡献率
(解释
变异量)
累积贡献率
(累积解释
变异量)
Component( 抽取的因子)
因子 1
负荷
量
因子 2
负荷
量
因子 3
负荷
量
共同
性
A1 电脑
A8 CAI课件
A6 电子邮件
A5校园网或因特网
A4 网上资料
43.885
% 43.885%
0.915
0.912
0.884
0.824
0.789
0.928
0.907
0.867
0.901
0.872
A10 视听会议
A9视频会议
A7电子讨论网
31.372
% 75.257%
0.939
0.924
0.858
0.939
0.965
0.919
A3 录像带
A2 录音磁带 14.108% 89.366% 0.948 0.652 0.900 0.738
特征值 4.389 3.137 1.411
2011-10-16 96
cxt
? 例 1:对美国洛杉矶 12个人口调查区的 5个经济
学变量的数据进行因子分析( 12个地区调查
表,sav)
菜单,Analyze- Data Reduction- Factor
? Variables, pop,School,employ,
Services,house
? 其他使用默认值(主成分分析法 Principal
components,选取特征值 >1,不旋转 )
2011-10-16 97
cxt
输出结果,
C o m m u n a l i t i e s
I ni t i a l E x t ra c t i o n
总人口
1, 0 0 0, 9 8 8
中等学校平均校龄
1, 0 0 0, 8 8 5
总雇员数
1, 0 0 0, 9 7 9
专业服务项目数
1, 0 0 0, 8 8 0
中等房价
1, 0 0 0, 9 3 8
E x t ra c t i o n M e t ho d, P ri nc i p a l Co m p o ne nt Ana l y s i s,
T o t a l V a r i a n c e E x p l a i n e d
I ni t i a l E i g e nv a l ue s E x t ra c t i o n Sum s o f Sq ua re d L o a d i ng s
Co m p o ne nt T o t a l % o f Va ri a nc e Cu m ul a t i v e % T o t a l % o f Va ri a nc e Cu m ul a t i v e %
1 2, 8 7 3 5 7, 4 6 6 5 7, 4 6 6 2, 8 7 3 5 7, 4 6 6 5 7, 4 6 6
2 1, 7 9 7 3 5, 9 3 3 9 3, 3 9 9 1, 7 9 7 3 5, 9 3 3 9 3, 3 9 9
3, 2 1 5 4, 2 9 7 9 7, 6 9 6
4, 1 0 0 1, 9 9 9 9 9, 6 9 5
5, 0 1 5, 3 0 5 1 0 0, 0 0 0
E x t ra c t i o n M e t ho d, P ri nc i p a l Co m p o ne nt Ana l y s i s,
2011-10-16 98
cxt
C o m p o n e n t M a t r i x ( a )
Co m p o ne nt
1 2
总人口, 5 8 1, 8 0 6
中等学校平均校龄, 7 6 7 -, 5 4 5
总雇员数, 6 7 2, 7 2 6
专业服务项目数, 9 3 2 -, 1 0 4
中等房价, 7 9 1 -, 5 5 8
E x t ra c t i o n M e t ho d, P ri nc i p a l Co m p o ne nt Ana l y s i s,
a 2 c o m p o ne nt s e x t ra c t e d,
2011-10-16 99
cxt
? 比较有用的结果:两个主成分 (因子 )f1,f2及因子载荷矩阵
(Component Matrix),根据该表可以写出每个原始变量(标
准化值)的因子表达式,
Pop?0.581f1 + 0.806f2
School ? 0.767f1 - 0.545f2
employ ? 0.672f1 + 0.726f2
Services ? 0.932f1 - 0.104f2
house ? 0.791f1 - 0.558f2
? 每个原始变量都可以是 5个因子的线性组合,提取两个因子 f1
和 f2,可以概括原始变量所包含信息的 93.4%。 f1和 f2前的
系数表示该因子对变量的影响程度,也称为变量在因子上的载
荷。
? 但每个因子(主成分)的系数 (载荷 )没有很明显的差别,所以
不好命名。 因此为了对因子进行命名,可以进行旋转,使系数
向 0和 1两极分化。
2011-10-16 100
cxt
? 由于系数没有很明显的差别,所以要进行旋转 (Rotation:
method一般用 Varimax方差最大旋转 ),使系数向 0和 1两极分
化。
? 菜单,Analyze- Data Reduction- Factor
? Variables, pop,School,employ,Services,
house
? Extraction,使用默认值( method,Principal
components,选取特征值 >1)
? Rotation,method选 Varimax
? Score:Save as variables 和 Display factor score
Coefficient matrix
2011-10-16 101
cxt
? 输出结果,(表 1- 3同前)
C o m m u n a l i t i e s
I ni t i a l E x t ra c t i o n
总人口
1, 0 0 0, 9 8 8
中等学校平均校龄
1, 0 0 0, 8 8 5
总雇员数
1, 0 0 0, 9 7 9
专业服务项目数
1, 0 0 0, 8 8 0
中等房价
1, 0 0 0, 9 3 8
E x t ra c t i o n M e t ho d, P ri nc i p a l Co m p o ne nt Ana l y s i s,
T o t a l V a r i a n c e E x p l a i n e d
I ni t i a l E i g e nv a l ue s E x t ra c t i o n Sum s o f Sq ua re d L o a d i ng s
Co m p o ne nt T o t a l % o f Va ri a nc e Cu m ul a t i v e % T o t a l % o f Va ri a nc e Cu m ul a t i v e %
1 2, 8 7 3 5 7, 4 6 6 5 7, 4 6 6 2, 8 7 3 5 7, 4 6 6 5 7, 4 6 6
2 1, 7 9 7 3 5, 9 3 3 9 3, 3 9 9 1, 7 9 7 3 5, 9 3 3 9 3, 3 9 9
3, 2 1 5 4, 2 9 7 9 7, 6 9 6
4, 1 0 0 1, 9 9 9 9 9, 6 9 5
5, 0 1 5, 3 0 5 1 0 0, 0 0 0
E x t ra c t i o n M e t ho d, P ri nc i p a l Co m p o ne nt Ana l y s i s,
2011-10-16 102
cxt
旋转后的因子载荷矩阵,
C o m p o n e n t M a t r i x ( a )
Co m p o ne nt
1 2
总人口, 5 8 1, 8 0 6
中等学校平均校龄, 7 6 7 -, 5 4 5
总雇员数, 6 7 2, 7 2 6
专业服务项目数, 9 3 2 -, 1 0 4
中等房价, 7 9 1 -, 5 5 8
E x t ra c t i o n M e t ho d, P ri nc i p a l Co m p o ne nt Ana l y s i s,
a 2 c o m p o ne nt s e x t ra c t e d,
R o t a t e d C o m p o n e n t M a t r i x ( a )
Co m p o ne nt
1 2
总人口, 0 1 6, 9 9 4
中等学校平均校龄, 9 4 1 -, 0 0 9
总雇员数, 1 3 7, 9 8 0
专业服务项目数, 8 2 5, 4 4 7
中等房价, 9 6 8 -, 0 0 6
E x t ra c t i o n M e t ho d, P ri nc i p a l Co m p o ne nt Ana l y s i s, R o t a t i o n M e t ho d, Va ri m a x w i t h K a i s e r N o rm a l i z a t i o n,
a R o t a t i o n c o nv e rge d i n 3 i t e ra t i o ns,
2011-10-16 103
cxt
因子旋转中的正交矩阵,
C o m p o n e n t T r a n s f o r m a t i o n M a t r i x
Co m p o ne nt 1 2
1, 8 2 1, 5 7 1
2 -, 5 7 1, 8 2 1
E x t ra c t i o n M e t ho d, P ri nc i p a l Co m p o ne nt Ana l y s i s,
R o t a t i o n M e t ho d, Va ri m a x w i t h K a i s e r N o rm a l i z a t i o n,
因子得分系数矩阵,
C o m p o n e n t S c o r e C o e f f i c i e n t M a t r i x
Co m p o ne nt
1 2
总人口 -, 0 9 1, 4 8 4
中等学校平均校龄, 3 9 2 -, 0 9 6
总雇员数 -, 0 3 9, 4 6 5
专业服务项目数, 2 9 9, 1 3 8
中等房价, 4 0 3 -, 0 9 8
E x t ra c t i o n M e t ho d, P ri nc i p a l Co m p o ne nt Ana l y s i s,
R o t a t i o n M e t ho d, Va ri m a x w i t h K a i s e r N o rm a l i z a t i o n,Co m p o n e nt Sc o re s,
C o m p o n e n t S c o r e C o v a r i a n c e M a t r i x
Co m p o ne nt 1 2
1 1, 0 0 0, 0 0 0
2, 0 0 0 1, 0 0 0
E x t ra c t i o n M e t ho d, P ri nc i p a l Co m p o ne nt Ana l y s i s,
R o t a t i o n M e t ho d, Va ri m a x w i t h K a i s e r N o rm a l i z a t i o n,Co m p o ne nt Sc o re s,
因子得分协方差矩阵,
2011-10-16 104
cxt
? 比较有用的结果:两个主成分 (因子 )f1,f2及旋转后的因子载荷矩
阵 (Rotated Component Matrix), 根据该表可以写出每个原始变
量(标准化值)的因子表达式,
Pop? 0.01602 f1 + 0.9946f2
School ? 0,941f1 - 0.00882f2
employ ? 0.137f1 + 0.98f2
Services ? 0.825f1 +0.447f2
house ? 0.968f1 - 0.00605f2
? F1= 0.01602 Pop+ 0,941 School+ 0.137 employ+ 0.825
Services+ 0.968 house
? F2= 0.9946 Pop-0.00882 School+ 0.98 employ+ 0.447
Services-0.00605 house
? 第一主因子对中等学校平均校龄,专业服务项目,中等房价有绝
对值较大的载荷 (代表一般社会福利 -福利条件因子 ); 而第二
主因子对总人口和总雇员数有较大的载荷 (代表人口 -人口因
子 ),
2011-10-16 105
cxt
? 比较有用的结果,因子得分 fac1_1,fac2_1。 其计算
公式:因子得分系数和原始变量的标准化值的乘积
之和 。
fac1_1 = -0.091 Pop + 0.392 School-0.039
employ+0.299 Services+0.403 house
fac2_1 = 0.484 Pop –0.096 School+0.465
employ+0.138 Services-0.098 house
? 然后可以利用因子得分进行聚类, 回归分析等。
第六章 因子分析
2011-10-16 2
cxt
因子分析的重点
? 1、什么是因子分析?
? 2、理解因子分析的基本思想
? 3、因子分析的数学模型以及模型中公共因子、
因子载荷变量共同度的统计意义
? 4、因子旋转的意义
? 5、结合 SPSS软件进行案例分析
2011-10-16 3
cxt
6.1 因子分析的基本理论
? 1、什么是因子分析?
因子分析是主成分分析的推广,也是利用 降维 的
思想,由研究原始变量相关矩阵或协方差矩阵的内部
依赖关系出发,把一些具有错综复杂关系的多个变量
归结为少数几个综合因子的一种多元统计分析方法。
? 2、因子分析的基本思想,
把每个研究变量分解为几个影响因素变量,将每
个原始变量分解成两部分因素,一部分是由所有变量
共同具有的少数几个 公共因子 组成的,另一部分是每
个变量独自具有的因素,即 特殊因子 。
2011-10-16 4
cxt
?3、因子分析的目的,
? 因子分析的目的之一,简化变量维数。 即要使因素结
构简单化,希望以最少的共同因素(公共因子),能
对总变异量作最大的解释,因而抽取得因子愈少愈好,
但抽取因子的累积解释的变异量愈大愈好。
? 在因子分析的公共因子抽取中,应最先抽取特征值最
大的公共因子,其次是次大者,最后抽取公共因子的
特征值最小 通常会接近 0。
2011-10-16 5
cxt
? 例:在企业形象或品牌形象的研究中,消费者可以通过一个有
24个指标构成的评价体系,评价百货商场的 24个方面的优劣。
? 但消费者主要关心的是三个方面,即商店的环境、商店的服务
和商品的价格。因子分析方法可以通过 24个变量,找出反映商
店环境、商店服务水平和商品价格的三个潜在的因子,对商店
进行综合评价。而这三个公共因子可以表示为,
? 称 是不可观测的潜在因子,称为公共因子。 24个变
量共享这三个因子,但是每个变量又有自己的个性,不被包含
的部分,称为特殊因子。
iiiiii FFFx ????? ????? 332211
321 FFF,、
i?
2011-10-16 6
cxt
? 4、主成分分析分析与因子分析的联系和差异,
联系,( 1)因子分析是主成分分析的推广,是主成分分析的逆问
题。( 2)二者都是以 ‘ 降维 ’ 为目的,都是从协方差矩阵或相关系数
矩阵出发。
区别, ( 1) 主成分分析模型是原始变量的线性组合,是将原始变
量加以综合、归纳,仅仅是变量变换;而因子分析是将原始变量加以
分解,描述原始变量协方差矩阵结构的模型;只有当提取的公因子个
数等于原始变量个数时,因子分析才对应变量变换。( 2)主成分分析,
中每个主成分对应的系数是唯一确定的;因子分析中每个因子的相应
系数即因子载荷不是唯一的。( 3)因子分析中因子载荷的不唯一性有
利于对公因子进行有效解释;而主成分分析对提取的主成分的解释能
力有限。
2011-10-16 7
cxt
? 5、因子分析模型,
设 个变量, 如果表示为
iX
),,2,1( pi ?? p
11i i i im m iX a F a F??? ? ? ? ?L)( pm ?
1 1 11 12 1 11
2 2 21 22 2 22
12
m
m
p p p p pm pm
X F
X F
X F
? ? ? ? ?
? ? ? ? ?
? ? ? ? ?
? ? ? ? ? ? ? ???
? ? ? ? ? ? ? ???
? ? ? ? ? ? ? ???? ? ?
? ? ? ? ? ? ? ???
? ? ? ? ? ? ? ???
??? ? ? ? ? ? ? ?
L
L
M M M M M MM
L
或
?? ? ?X μ AF或
2011-10-16 8
cxt
( 1)
( 2)
称为 公共因子, 是不可观测的变量,
他们的系数称为因子载荷 。 是特殊因子, 是不能被
前 m个公共因子包含的部分 。 其中,
mFFF,,,21 ?
i?
c o v (,) 0,F ? ??,F 相互独立即不相关;
IFD ?
?
?
?
?
?
?
?
?
?
?
?
?
?
1
1
1
)(
?
mFFF,,,21 ?即 互不相关,方差为 1。
2011-10-16 9
cxt
( 3) ?
?
?
?
?
?
?
?
?
?
?
?
?
2
2
2
2
1
)(
p
D
?
?
?
?
?
即互不相关, 方差不一定相等, 。
满足以上条件的, 称为 正交因子模型,
如果 ( 2 ) 不成立, 即 各公共因子之间不独立,
则因子分析模型为 斜交因子模型,
),0(~ 2ii N ??
IFD ?)(
2011-10-16 10
cxt
公因子 F1 公因子
F2
共同度
hi
特殊因子
δi
x1=代数 1 0.896 0.341 0.919 0.081
x2=代数 2 0.802 0.496 0.889 0.111
x3=几何 0.516 0.855 0.997 0.003
x4=三角 0.841 0.444 0.904 0.096
x5=解析几何 0.833 0.434 0.882 0.118
特征值 G 3.113 1.479 4.959 0.409
方差贡献率
(变异量)
62.26
%
29.58% 91.85%
因子分析案例
F1 体现逻辑思维和运算能力,F2 体现空间思维和推理能力
2011-10-16 11
cxt
? 6、因子分析模型中的几个重要统计量的意义,
( 1) 因子负荷量(或称因子载荷) ----是指因子结
构中原始变量与因子分析时抽取出的公共因子的相
关程度。
imim2i21i1*i FFFx ???? ??????
ij
ij
m
1i
j
m
1i
j
*
i
F j ),c o v ()F,c o v (
)F,c o v ()F,C o v ( x
?
??
??
?
??
??
?
?
?
?
kik
ikik
F
F
)v a r (*)v a r (
)*,c o v (r
ij
ji
ji
Fx
Fxr ?? ?
2011-10-16 12
cxt
在各公共因子不相关的前提下, ( 载荷矩阵
中第 i行, 第 j列的元素 ) 是随机变量 xi*与公共因
子 Fj的相关系数, 表示 xi*依赖于 Fj的程度 。 反映
了第 i个原始变量在第 j个公共因子上的相对重要性 。
因此 绝对值越大, 则公共因子 Fj与原有变量 xi
的关系越强 。
ij?
ij?
2011-10-16 13
cxt
( 2) 共同度 ----又称共性方差或公因子方差 ( community
或 common variance) 就是变量与每个公共因子之负荷量
的平方总和(一行中所有因素负荷量的平方和)。 变量
的共同度是因子载荷矩阵的第 i行的元素的平方和。记为
从共同性的大小可以判断这个原始实测变量与公共因
子间之关系程度。如因子分析案例中
共同度 h12=(0.896)平方 +(0.341)平方 =0.919
? 特殊因子方差(剩余方差) ----各变量的特殊因素影响大小就
是 1减掉该变量共同度的值。如 =1- 0.919 = 0.081
iX
。??? mj iji ah 1 22
2i?
2011-10-16 14
cxt
统计意义,
imimii
FaFaX ????? ?11* 两边求方差
)()()()( 2112 imimii VarFVaraFVaraXVar ????? ?
22
1
221
ii
m
j
iij ha ?? ???? ?
?
所有的公共因子和特殊因子对变量 的贡献为 1。 hi2反映了全
部公共因子对变量 Xi*的影响,是全部公共因子对变量方差所做出
的贡献,或者说 Xi*对公共因子的共同依赖程度,称为公共因子对
变量 Xi*的方差贡献。
Hi2接近于 1,表明该变量的原始信息几乎都被选取的公共因子
说明了。
特殊因子的方差,反映了原有变量方差中无法被公共因子
描述的比例。
*iX
2i?
2011-10-16 15
cxt
( 3) 特征值 ----是第 j个公共因子 Fj对于 X*的每一分量 Xi*所提
供的方差的总和。又称第 j个公共因子的方差贡献。即 每个
变量与某一共同因素之因素负荷量的平方总和 (因子载荷矩
阵中某一公共因子列所有因子负荷量的平方和)。
如因子分析案例中 F1的特征值 G=( 0.896) 平方 +
( 0.802)平方 +( 0.516)平方 +( 0.841)平方 +( 0.833)
平方 =3.113
( 4)方差贡献率 ----指公共因子对实测变量的贡献,又称变异
量 方差贡献率 =特征值 G/实测变量数 p,
是衡量公共因子相对重要性的指标,Gi越大,表明公共
因子 Fj对 X*的贡献越大,该因子的重要程度越高
如因子分析案例中 F1的贡献率为 3.113/5=62.26%
2011-10-16 16
cxt
6.2 因子的基本内容
? 1、因子分析的基本步骤,
( 1)因子分析的前提条件鉴定
考察原始变量之间是否存在较强的相关关系,是否适
合进行因子分析。因为,
因子分析的主要任务之一就是对原有变量中信息重
叠的部分提取和综合成因子,最终实现减少变量个数
的目的。所以要求原有变量之间应存在较强的相关关
系。否则,如果原有变量相互独立,不存在信息重叠,
也就无需进行综合和因子分析。
( 2)因子提取
研究如何在样本数据的基础上提取综合因子。
2011-10-16 17
cxt
( 3)因子旋转
通过正交旋转或斜交旋转使提取出的因子具有可
解释性。
( 4)计算因子得分
通过各种方法求解各样本在各因子上的得分,为
进一步分析奠定基础。
2011-10-16 18
cxt
? 2、因子分析前提条件 ——相关性分析,
分析方法主要有,
( 1)计算相关系数矩阵 (correlation
coefficients matrix)
如果相关系数矩阵中的大部分相关系数值
均小于 0.3,即各变量间大多为弱相关,原
则上这些变量不适合进行因子分析。
( 2)计算反映象相关矩阵( Anti-image
correlation matrix)
2011-10-16 19
cxt
反映象相关矩阵,如果其主对角线外的元素大多绝
对值较小,对角线上的元素值较接近 1,则说明这些变
量的相关性较强,适合进行因子分析。
其中主对角线上的元素为某变量的 MSA(Measure of
Sample Adequacy),
是变量 和变量 ( ) 间的简单相关系数,
是变量 和变量 ( ) 在控制了其他变量影响下的
偏相关系数,即净相关系数。 取值在 0和 1之间,
越接近 1,意味着变量 与其他变量间的相关性越强,
越接近 0则相关性越弱。
? ?
?
? ?
?
?
?
ij ij
ijij
ij
ij
i pr
r
M S A 22
2
ijr ix jx ij?
ijp
ix jx ij?
iMSA
ix
2011-10-16 20
cxt
( 3)巴特利特球度检验( Bartlett test of
sphericity)
该检验以原有变量的相关系数矩阵为出发点,其零
假设 H0是:相关系数矩阵为单位矩阵,即相关系数矩
阵主对角元素均为 1,非主对角元素均为 0。(即原始
变量之间无相关关系)。
依据相关系数矩阵的行列式计算可得其近似服从
卡方分布。如果统计量卡方值较大且对应的 sig值小于
给定的显著性水平 a时,零假设不成立。即说明相关系
数矩阵不太可能是单位矩阵,变量之间存在相关关系,
适合做因子分析。
2011-10-16 21
cxt
( 4) KMO(Kaiser-Meyer-Olkin)检验
KMO检验的统计量是用于比较变量间简单相关系数矩阵
和偏相关系数的指标,数学定义为,
KMO与 MSA区别是它将相关系数矩阵中的所有元素都加
入到了平方和计算中。 KMO值越接近 1,意味着变量间
的相关性越强,原有变量适合做因子分析;越接近 0,
意味变量间的相关性越弱,越不适合作因子分析。
Kaiser给出的 KMO度量标准,0.9以上非常适合; 0.8表
示适合; 0.7表示一般; 0.6表示不太适合; 0.5以下表
示极不适合。
? ?? ?
? ?
??
?
??
ij
ij
ij
ij
ij
ij
i pr
r
K M O 22
2
2011-10-16 22
cxt
? 3、因子提取和因子载荷矩阵的求解,
因子载荷矩阵求解的方法,
( 1)基于主成分模型的主成分分析法
( 2)基于因子分析模型的主轴因子法
( 3) 极大似然法
( 4)最小二乘法
( 5) a因子提取法
( 6)映象分析法
2011-10-16 23
cxt
( 1)基于主成分模型的主成分分析法 Principal
components
设随机向量 的均值为 ?,协方差为 ?,
为 ?的特征根,为对应的
标准化特征向量,则
? ??? pxxx,,,21 ?x
021 ???? p??? ? p21 u,,u,u ?
1
2
p
?
?
?
??
??
???
??
??
Σ = U U A A + D
O
2011-10-16 24
cxt
? 上式给出的 ?表达式是精确的,然而,它实际上是毫无
价值的,因为我们的目的是寻求用少数几个公共因子
解释,故略去后面的 p-m项的贡献,有,
? ?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
p
2
u
u
u
uuu
p
pp
?
?
?
???
?
?
2
11
2211
1
1 0
0 p
?
?
???
?? ??
???
????
?? ?? ??
???? ?
??
2
1 2 p
p
u
u
u u u
u
LO
M
2 11 11mmm m m m p?? ?? ? ??? ???? ? ?? ? ? ? ??1 1 2 2 ppu u u u u u u u u uLL
2011-10-16 25
cxt
? 上式有一个假定,模型中的特殊因子是不重要的,因
而从 ?的分解中忽略了特殊因子的方差。
12? ? ? ?mmm? ? ?? ? ? ?? ? ? ? ? ?1 1 2 2Σ A A + D u u u u u u DL
2 2 212? ? ? ?(,,,)pd i a g ? ? ??D L其 中
22
1
?
m
i ii ij
j
sa?
?
?? ?
11
2
1 1 2 2
? ?? ?
mm
pm
pm
mp
?
?
? ? ?
?
?
?
?? ?
??
???
?? ?? ? ? ?
????
??
?? ?
??
2
u
u
u u u D A A D
u
L
M
2011-10-16 26
cxt
例, 假定某地固定资产投资率,通货膨胀率,
失业率,相关系数矩阵为
试用主成分分析法求因子分析模型。
1x 2x
3x
?
?
?
?
?
?
?
?
?
?
??
?
15/25/1
5/215/1
5/15/11
2011-10-16 27
cxt
(1)求解特征根
(2)求解特征向量,
(3)因子载荷矩阵,
55.11 ?? 85.02 ?? 6.03 ??
?
?
?
?
?
?
?
?
?
?
?
??
6.0707.085.0331.055.1629.0
6.0707.085.0331.055.1629.0
085.0883.055.1475.0
A
?
?
?
?
?
?
?
?
?
?
?
???
7 0 7.03 3 1.06 2 9.0
7 0 7.03 3 1.06 2 9.0
08 8 3.04 7 5.0
U
?
?
?
?
?
?
?
?
?
?
?
??
548.0305.0783.0
548.305.0783.0
0814.0569.0
2011-10-16 28
cxt
(4)因子分析模型,
可取前两个因子 F1和 F2为公共因子,第一公因子 F1
物价就业因子,对 X的贡献为 1.55。第一公因子 F2为投
资因子,对 X的贡献为 0.85。共同度分别为 1,0.706,
0.706。
211 814.0569.0 FFx ??
3212 548.0305.0783.0 FFFx ???
3213 5 4 8.03 0 5.07 8 3.0 FFFx ????
2011-10-16 29
cxt
( 2)基于因子分析模型的主轴因子法 Principal
axis factoring
是对主成分方法的修正,假定我们首先对变量进
行标准化变换。则
R=AA’+D
R*=AA’=R-D
称 R*为约相关矩阵,R*对角线上的元素是,而不是 1。
2ih
2011-10-16 30
cxt
直接求 R*的前 p个特征根和对应的正交特征向
量。得如下的矩阵,
2
1 1 2 1
2
2 1 2 2
2
12
?
?
?
?
p
p
p p p
h r r
r h r
R
r r h
?
??
??
??
??
??
??
??
??
R - D
L
L
M M M
L
* * * * * *
1 1 2 2 pp? ? ???? ??A u u uL
* * *1 0p??? ? ?R L特 征 根,
* * *12,,,pu u uL正 交 特 征 向 量,
2011-10-16 31
cxt
当特殊因子 的方差已知,i?
2
1
2
2
2
p
?
?
?
?
??
??
?
??
????
RR
O
=
**
11
**
* * * * * * 22
1 1 2 2
**
pp
pp
?
?
? ? ?
?
?? ?
??
?? ?
??? ??
??
??
??
???
??
u
u
u u u
u
L
M
* * * * * *1 1 2 2 mm? ? ????A u u uL
2
1
2
?1
?1
0
0 p
h
h
???
??
?
?? ?
??
D O
2011-10-16 32
cxt
方差矩阵未知, 估计的方法有如下几种,
1)取,在这个情况下主因子解与主成分解等价;
2)取, 为 xi与其他所有的原始变量 xj的复相关系
数的平方,即 xi对其余的 p-1个 xj的回归方程的判定系数,这是
因为 xi 与公共因子的关系是通过其余的 p-1个 xj 的线性组合联
系起来的;
3)取,这意味着取 xi与其余的 xj的简
单相关系数的绝对值最大者;
12 ?ih
22 ii Rh ? 2iR
)(||m a? 2 ijrh iji ??
2011-10-16 33
cxt
4)取,其中要求该值为正数。
5) 取, 其中 是 的对角元素 。
?
???
? p
jij iji
rph
,1
2
1
1
iii rh /12 ? iir 1?R
2011-10-16 34
cxt
例,假定某地固定资产投资率,通货膨胀率,失业率,
相关系数矩阵为
试用主因子分析法求因子分析模型。假定用
代替初始的 。 。
1x 2x 3x
?
?
?
?
?
?
?
?
?
?
??
?
15/25/1
5/215/1
5/15/11
)(||m a x? 2 ijrh iji ??
2ih 52,1,51 232221 ??? hhh
?
?
?
?
?
?
?
?
?
?
??
?
?
?
?
?
?
?
?
?
?
?
?
?
??
?
?
221
251
111
5
1
5/25/25/1
5/215/1
5/15/15/1
*R
2011-10-16 35
cxt
( 1)求解特征根,
( 2)对应的非 0特征向量,
( 3)因子载荷矩阵表,
9 1 2 3.01 ?? 0 8 7 7.02 ?? 03 ??
?
?
?
?
?
?
?
?
?
?
?
?
2 6 1.06 5 7.0
2 6 1.06 5 7.0
9 2 9.03 6 9.0
?
?
?
?
?
?
?
?
?
?
?
?
0877.0261.09123.0657.0
0877.0261.09123.0657.0
0877.0929.09123.0369.0
?
?
?
?
?
?
?
?
?
?
?
??
077.0628.0
077.0628.0
275.0352.0
2011-10-16 36
cxt
( 4)因子分析模型,
( 5)新的共同度,
1211 275.0352.0 ???? FFx
2212 0 7 7.06 2 5.0 ???? FFx
3211 077.0682.0 ????? FFx
1 8 1 2 9.02 7 5.03 5 2.0 2221 ???h
3 9 6 6.00 7 7.06 2 5.0 2222 ???h
4 7 1 0.00 7 7.06 8 2.0 2223 ???h
2011-10-16 37
cxt
? 4、因子旋转,
为什么要旋转因子?
建立了因子分析数学目的不仅仅要找出公共因子以及
对变量进行分组,更重要的要知道每个公共因子的意
义,以便进行进一步的分析,如果每个公共因子的含
义不清,则不便于进行实际背景的解释。 由于因子载
荷阵是不惟一的,所以应该对因子载荷阵进行旋转。
目的是 使每个变量在尽可能少的因子上有比较高的载
荷,让某个变量在某个因子上的载荷趋于 1,而在其他
因子上的载荷趋于 0。即,使载荷矩阵每列或行的元素
平方值向 0和 1两极分化。
2011-10-16 38
cxt
奥运会十项全能运动项目
得分数据的因子分析
百米跑成绩
跳远成绩
铅球成绩
跳高成绩
400米跑成绩
百米跨栏
铁饼成绩
撑杆跳远成绩
标枪成绩
1500米跑成绩
1X
2X
3X
4X
5X
6X
7X
8X
9X
10X
2011-10-16 39
cxt
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
???? 102.017.002.001.039.018.008.009.007.0
124.034.018.013.017.044.021.011.0
124.033.023.039.024.036.020.0
132.017.027.073.031.028.0
134.046.036.052.040.0
129.019.049.063.0
138.051.034.0
142.035.0
159.0
1
2011-10-16 40
cxt
因
子
载
荷
矩
阵
因子载荷矩阵可以看出,除第一因子在所有的变量在公共因子上有
较大的正载荷,可以称为一般运动因子。其他的 3个因子不太容易解释。
似乎是跑和投掷的能力对比,似乎是长跑耐力和短跑速度的对比。于
是考虑旋转因子,得下表
变量 共同度
0,691 0, 2 1 7 - 0, 5 8 - 0, 2 0 6 0, 8 4
0,789 0, 1 8 4 - 0, 1 9 3 0, 0 9 2 0, 7
0,702 0, 5 3 5 0, 0 4 7 - 0, 1 7 5 0, 8
0,674 0, 1 3 4 0, 1 3 9 0, 3 9 6 0, 6 5
0,62 0, 5 5 1 - 0, 0 8 4 - 0, 4 1 9 0, 8 7
0,687 0, 0 4 2 - 0, 1 6 1 0, 3 4 5 0, 6 2
0,621 - 0, 5 2 1 0, 1 0 9 - 0, 2 3 4 0, 7 2
0,538 0, 0 8 7 0, 4 1 1 0, 4 4 0, 6 6
0, 4 3 4 - 0, 4 3 9 0, 3 7 2 - 0, 2 3 5 0, 5 7
0, 1 4 7 0, 5 9 6 0, 6 5 8 - 0, 2 7 9 0, 8 9
1
F
2
F
3
F
4
F
1
X
2
X
3
X
4
X
5
X
6
X
7
X
8
X
9
X
10
X
2011-10-16 41
cxt
变量 共同度
0,844
*
0, 1 3 6 0, 1 5 6 - 0, 1 1 3 0, 8 4
0,631
*
0, 1 9 4
0, 5 1 5
*
- 0, 0 0 6 0, 7
0,243
0, 8 2 5
*
0, 2 2 3 - 0, 1 4 8 0, 8 1
0,239 0, 1 5
0, 7 5 0
*
0, 0 7 6 0, 6 5
0,797
*
0, 0 7 5 0, 1 0 2 0, 4 6 8 0, 8 7
0,404 0, 1 5 3
0, 6 3 5
*
- 0, 1 7 0, 6 2
0,186
0, 8 1 4
*
0, 1 4 7 - 0, 0 7 9 0, 7 2
- 0,036 0, 1 7 6
0, 7 6 2
*
0, 2 1 7 0, 6 6
- 0, 0 4 8
0, 7 3 5
*
0, 1 1 0, 1 4 1 0, 5 7
0, 0 4 5 - 0, 0 4 1 0, 1 1 2
0, 9 3 4
*
0, 8 9
1
F
2
F
3
F
4
F
1
X
2
X
3
X
4
X
5
X
6
X
7
X
8
X
9
X
10
X
旋转变幻后因子载荷矩阵
2011-10-16 42
cxt
通过旋转, 因子有了较为明确的含义 。 百米跑,
跳远和 400米跑, 需要爆发力的项目在 有较大的载
荷, 可以称为短跑速度因子;
铅球, 铁饼和 标枪在 上有较大的载荷, 可
以称为爆发性臂力因子;
百米跨栏, 撑杆跳远, 跳远和为 跳高在
上有较大的载荷, 爆发腿力因子; 长跑耐力因子 。
2X
5X 1F
1F
3X 7X 9X 2F
6X 8X 2X 4X
3F
3F
4F
1X
2011-10-16 43
cxt
旋转的方法 有,( 1)正交旋转;( 2)斜交旋转
( 1)正交旋转
由初始载荷矩阵 A左乘一正交矩阵得到; 目的是新的
载荷系数尽可能的接近于 0或尽可能的远离 0;只是在
旋转后的新的公因子仍保持独立性。主要有以下方法,
varimax:方差最大旋转。简化对因子的解释
quartmax:四次最大正交旋转。简化对变量的解释
equamax:等量正交旋转
2011-10-16 44
cxt
A,方差最大法
方差最大法从简化因子载荷矩阵的每一 列 出发,
使和每个因子有关的载荷的平方的方差最大。当只有
少数几个变量在某个因子上有较高的载荷时,对因子
的解释最简单。 方差最大的直观意义是希望通过因子
旋转后,使每个因子上的载荷尽量拉开距离,一部分
的载荷趋于 ?1,另一部分趋于 0。
2011-10-16 45
cxt
B,四次方最大旋转
四次方最大旋转是从简化载荷矩阵的 行 出发,通过旋
转初始因子,使每个变量只在一个因子上有较高的载
荷,而在其它的因子上尽可能低的载荷。如果每个变
量只在一个因子上有非零的载荷,这时的因子解释是
最简单的。
四次方最大法通过使因子载荷矩阵中每一行的因子
载荷平方的方差达到最大。
2011-10-16 46
cxt
C,等量最大法
等量最大法把四次方最大法和方差最大法结合起
来求行和列因子载荷平方的方差的加权平均最大。
2011-10-16 47
cxt
( 2)斜交旋转
目的是新的载荷系数尽可能的接近于 0或尽可能的
远离 0;只是在旋转时,放弃了因子之间彼此独立的限
制,旋转后的新公因子更容易解释。主要有以下的方法,
direct oblimin:直接斜交旋转。允许因子之间具有相关性;
promax:斜交旋转方法。允许因子之间具有相关性;
2011-10-16 48
cxt
? 5、因子得分
因子得分的概念
前面我们主要解决了用公共因子的线性组合来表示
一组观测变量的有关问题。如果我们要使用这些因子
做其他的研究,比如把得到的因子作为自变量来做回
归分析,对样本进行分类或评价,这就需要我们对公
共因子进行测度,即给出 公共因子的值 。
2011-10-16 49
cxt
例,人均要素变量因子分析 。 对我国 32个省市自治区的要素状况作
因子分析 。 指标体系中有如下指标,
X1, 人口(万人) X2, 面积(万平方公里)
X3, GDP( 亿元) X4, 人均水资源(立方米 /人)
X5,人均生物量(吨 /人) X6,万人拥有的大学生数(人)
X7,万人拥有科学家、工程师数(人)
Rotated Factor Pattern FACTOR1 FACTOR2 FACTOR3
X1 -0.21522 -0.27397 0.89092
X2 0.63973 -0.28739 -0.28755
X3 -0.15791 0.06334 0.94855
X4 0.95898 -0.01501 -0.07556
X5 0.97224 -0.06778 -0.17535
X6 -0.11416 0.98328 -0.08300
X7 -0.11041 0.97851 -0.07246
2011-10-16 50
cxt
X1=-0.21522F1-0.27397F2+0.89092F3
X2=0.63973F1-0.28739F2-0.28755F3
X3=-0.15791F1+0.06334F2+0.94855F3
X4=0.95898F1-0.01501F2-0.07556F3
X5=0.97224F1-0.06778F2-0.17535F3
X6=-0.11416F1+0.98328F2-0.08300F3
X7=-0.11041F1+0.97851F2-0.07246F3
2011-10-16 51
cxt
高载荷指标
因子命名
因子 1
X2; 面积 ( 万平方公里 )
X4:人均水资源 ( 立方米 /人 )
X5:人均生物量 ( 吨 /人 )
自然资源因子
因子 2
X6,万人拥有的大学生数 ( 人 )
X7,万人拥有的科学家, 工程师数 (
人 )
人力资源因子
因子 3
X1;人口 ( 万人 )
X3:GDP(亿元 )
经济发展总量因子
2011-10-16 52
cxt
Standardized Scoring Coefficients
FACTOR1 FACTOR2 FACTOR3
X1 0.05764 -0.06098 0.50391
X2 0.22724 -0.09901 -0.07713
X3 0.14635 0.12957 0.59715
X4 0.47920 0.11228 0.17062
X5 0.45583 0.07419 0.10129
X6 0.05416 0.48629 0.04099
X7 0.05790 0.48562 0.04822
F1=0.05764X1+0.22724X2+0.14635X3+0.47920X4+0.45583X5+0.05416X6+0.05790X7
F2=-0.06098X1-0.09901X2+0.12957X3+0.11228X4+0.07419X5+0.48629X6+0.48562X7
F3=0.50391X1-0.07713X2+0.59715X3+0.17062X4+0.10129X5+0.04099X6+0.04822X7
2011-10-16 53
cxt
前三个因子得分
REGION
FACTOR1
FACTOR2
FACTOR3
beijing?
-0.08169
4.23473
-0.37983
tianjin
-0.47422
1.31789
-0.87891
hebei
-0.22192
-0.35802
0.86263
shanxi1
-0.48214
-0.32643
-0.54219
neimeng
0.54446
-0.66668
-0.92621
liaoning
-0.20511
0.46377
0.34087
jilin
-0.21499
0.10608
-0.57431
heilongj
0.10839
-0.11717
-0.02219
shanghai
-0.20069
2.38962
-0.04259
2011-10-16 54
cxt
因子分析的数学模型为,
原变量被表示为公共因子的线性组合,当载荷矩阵旋
转之后,公共因子可以做出解释,通常的情况下,我
们还想反过来把公共因子表示为原变量的线性组合。
因子得分函数,
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
mpmpp
m
m
n F
F
F
X
X
X
?
?
???
?
?
?
2
1
21
22221
11211
2
1
???
???
???
pjpjj XXF ?? ??? ?11 mj,,1 ??
2011-10-16 55
cxt
? 可见,要求得每个因子的得分,必须求得分函数的
系数,而由于 p>m,所以不能得到精确的得分,只
能通过估计。
? 因子得分的 计算方法,
( 1)运用回归分析思想求解
( 2) Bartlett
( 3) Anderson-rubin
2011-10-16 56
cxt
( 1)运用回归分析思想求解
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
nmnmnn
m
m
n F
F
F
X
X
X
?
?
?
???
???
???
??
?
???
?
?
?
2
1
2
1
21
22221
11211
2
1
pjpjj XbXbF ??? ?11? mj,,1 ??
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
mmpmm
p
p
bbb
bbb
bbb
b
b
b
?
?
???
?
?
2
1
21
22221
11211
2011-10-16 57
cxt
)( jiFxij FXEji ?? ??
)]([ 11 pjpji XbXbXE ??? ?
ipjpij bb ?? ??? ?11? ?
?
?
?
?
?
?
?
?
?
?
?
?
?
jp
j
j
ipii
b
b
b
rrr
?
?
2
1
21
则,我们有如下的方程组,
2011-10-16 58
cxt
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
pj
j
j
jp
j
j
pppp
p
p
a
a
a
b
b
b
??
?
???
?
?
2
1
2
1
21
22221
11211
???
???
???
j=1,2,…,m
矩阵为原始变量的相关系数
?
?
?
?
?
?
?
?
?
?
?
?
pppp
p
p
???
???
???
?
???
?
?
21
22221
11211
2011-10-16 59
cxt
个因子得分函数的系数为第 j
b
b
b
jp
j
j
?
?
?
?
?
?
?
?
?
?
?
?
?
2
1
列为载荷矩阵的第 j
a
a
a
pj
j
j
?
?
?
?
?
?
?
?
?
?
?
?
?
2
1
注:共需要解 m次才能解出 所有的得分函数的系数。
2011-10-16 60
cxt
( 2) Bartlett法 (即:加权最小二乘法)
? 把一个个体的 p个变量的取值 X*当作因变量,把求因子
解中得到的 A作为自变量数据阵,对于这个个体在公因
子上的取值 f,当作未知参数,而特殊因子的取值看作
误差 e,于是得到如下的线性回归模型,x*=Af+e,则
称未知参数 f为取值为 X*的因子得分。
? ? *111? XAAAf ??? ??? ??
ee
n
eAfX
eAfX
??
??
??
???
1
*
*
2
1
2
1
2
1
?
???
其中:
最小二乘法
2011-10-16 61
cxt
( 3) Anderson-rubin( 略)
2011-10-16 62
cxt
案例分析,
国民生活质量的因素分析
国家发展的最终目标, 是为了全面提高全体国民的生活质量,
满足广大国民日益增长的物质和文化的合理需求 。 在可持续发展
消费的统一理念下, 增加社会财富, 创造更多的物质文明和精神
文明, 保持人类的健康延续和生生不息, 在人类与自然协同进化
的基础上, 维系人类与自然的平衡, 达到完整的代际公平和区际
公平 (即时间过程的最大合理性与空间分布的最大合理化 )。
从 1990年开始, 联合国开发计划署 (UYNP)首次采用 ? 人文发展
系数 ? 指标对于国民生活质量进行测度 。 人文发展系数利用三类
内涵丰富的指标组合, 即人的健康状况 (使用出生时的人均预期寿
命表达 ),人的智力程度 (使用组合的教育成就表达 ),人的福利水
平 (使用人均国民收入或人均 GDP表达 ),并且特别强调三类指标组
合的整体表达内涵, 去衡量一个国家或地区的社会发展总体状况
以及国民生活质量的总水平 。
2011-10-16 63
cxt
在这个指标体系中有如下的指标,
X1——预期寿命
X2——成人识字率
X3——综合入学率
X4——人均 GDP( 美圆 )
X5——预期寿命指数
X6——教育成就指数
X7——人均 GDP指数
2011-10-16 64
cxt
旋转后的因子结构 Rotated Factor Pattern
FACTOR1 FACTOR2 FACTOR3
X1 0.38129 0.41765 0.81714
X2 0.12166 0.84828 0.45981
X3 0.64803 0.61822 0.22398
X4 0.90410 0.20531 0.34100
X5 0.38854 0.43295 0.80848
X6 0.28207 0.85325 0.43289
X7 0.90091 0.20612 0.35052
FACTOR1为经济发展因子
FACTOR2为教育成就因子
FACTOR3为健康水平因子
2011-10-16 65
cxt
被每个因子解释的方差和共同度,
Variance explained by each factor
FACTOR1 FACTOR2 FACTOR3
2.439700 2.276317 2.009490
Final Communality Estimates,Total = 6.725507
X1 X2 X3 X4 X5
0.987530 0.945796 0.852306 0.975830 0.992050
X6 X7
0.994995 0.976999
2011-10-16 66
cxt
Standardized Scoring Coefficients标准化得分系数
FACTOR1 FACTOR2 FACTOR3
X1 -0.18875 -0.34397 0.85077
X2 -0.24109 0.60335 -0.10234
X3 0.35462 0.50232 -0.59895
X4 0.53990 -0.17336 -0.10355
X5 -0.17918 -0.31604 0.81490
X6 -0.09230 0.62258 -0.24876
*6*5*4*3*2*1 0 9 2 3 0.01 7 9 1 8.05399.03 5 4 6 2.02 4 1 0 9.01 8 8 7 5.01 xxxxxxf ???????
*6*5*4*3*2*1 62258.031604.017336.050232.060335.034397.02 xxxxxxf ???????
*6*5*4*3*2*1 2 4 8 7 6.08 1 4 9 0.01 0 3 3 5.05 9 8 9 5.01 0 2 3 4.08 5 0 7 7.03 xxxxxxf ??????
2011-10-16 67
cxt
生育率的影响因素分析
生育率受社会、经济、文化、计划生育政策等很多因素
影响,但这些因素对生育率的影响并不是完全独立的,而是
交织在一起,如果直接用选定的变量对生育率进行多元回归
分析,最终结果往往只能保留两三个变量,其他变量的信息
就损失了。因此,考虑用因子分析的方法,找出变量间的数
据结构,在信息损失最少的情况下用新生成的因子对生育率
进行分析。
选择的变量有:多子率、综合节育率、初中以上文化程
度比例、城镇人口比例、人均国民收入。下表是 1990年中国
30个省、自治区、直辖市的数据。
2011-10-16 68
cxt
多子率( % ) 综合节育率( % ) 初中以上文化程度比例( % ) 人均国民收入(元) 城镇人口比例( % )
0.94 89.89 64.51 3577 73.08
2.58 92.32 55.41 2981 68.65
13.46 90.71 38.2 1148 19.08
12.46 90.04 45.12 1124 27.68
8.94 90.46 41.83 1080 36.12
2.8 90.17 50.64 2011 50.86
8.91 91.43 46.32 1383 42.65
8.82 90.78 47.33 1628 47.17
0.8 91.47 62.36 4822 66.23
5.94 90.31 40.85 1696 21.24
2.6 92.42 35.14 1717 32.81
7.07 87.97 29.51 933 17.9
14.44 88.71 29.04 1313 21.36
15.24 89.43 31.05 943 20.4
3.16 90.21 37.85 1372 27.34
9.04 88.76 39.71 880 15.52
12.02 87.28 38.76 1248 28.91
11.15 89.13 36.33 976 18.23
22.46 87.72 38.38 1845 36.77
24.34 84.86 31.07 798 15.1
33.21 83.79 39.44 1193 24.05
4.78 90.57 31.26 903 20.25
21.56 86 22.38 654 19.93
14.09 80.86 21.49 956 14.72
32.31 87.6 7.7 865 12.59
11.18 89.71 41.01 930 21.49
13.8 86.33 29.69 938 22.04
25.34 81.56 31.3 1100 27.35
20.84 81.45 34.59 1024 25.82
39.6 64.9 38.47 1374 31.91
2011-10-16 69
cxt
特征根与各因子的贡献
Eigenvalue
Difference
Proportion
Cumulative
3.24917597
2.03464291
0.6498
0.6498
1.21453306
0.96296800
0.2429
0.8927
0.25156507
0.06743397
0.0503
0.9431
0.18413109
0.08353629
0.0368
0.9799
0.10059480
0.0201
1.0000
2011-10-16 70
cxt
没有旋转的因子结构
Factor1
Factor2
x1
-0.76062
0.55316
x2
0.56898
-0.76662
x3
0.89184
0.25374
x4
0.87066
0.34618
x5
0.89076
0.36962
2011-10-16 71
cxt
各旋转后的共同度
0.88454023
0.91143998
0.85977061
0.87789453
0.93006369
Factor1可解释方差
Factor2可解释方差
2.9975429
2.1642615
2011-10-16 72
cxt
在这个例子中我们得到了两个因子,第一个因子是社会经济
发展水平因子,第二个是计划生育因子。有了因子得分值后,则
可以利用因子得分为变量,进行其他的统计分析。
Factor1
Factor2
x1
-0.35310
-0.87170
x2
0.07757
0.95154
x3
0.89114
0.25621
x4
0.92204
0.16655
x5
0.95149
0.15728
Factor1
Factor2
x1
-0.05897
-0.49252
x2
-0.05805
0.58056
x3
0.33042
0.03497
x4
0.35108
-0.02506
x5
0.36366
-0.03493
方差最大旋转后的因子结构 标准化得分函数
2011-10-16 73
cxt
6.3 因子分析的上机操作
问题 题 项
从未
使用
很少
使用
有时
使用
经常
使用
总是
使用
1 2 3 4 5
A1 电脑
A2 录音磁带
A3 录像带
A4 网上资料
A5 校园网或因特
网
A6 电子邮件
A7 电子讨论网
A8 CAI课件
A9 视频会议
A10 视听会议
2011-10-16 74
cxt
题目
编号 A1 A2 A3 A4 A5 A6 A7 A8 A9 A10
01 1 5 5 1 1 1 1 1 1 1
02 2 5 5 2 2 2 1 2 1 1
03 4 3 3 3 4 3 1 4 1 1
04 4 3 4 4 4 4 2 4 2 2
05 4 4 3 3 4 4 1 4 1 1
06 4 3 3 3 3 4 2 3 2 1
07 4 4 4 4 3 3 2 4 1 1
08 1 5 3 1 1 1 1 1 1 1
09 4 4 5 4 4 4 2 4 1 1
10 5 4 3 5 5 4 3 5 3 3
11 5 4 3 4 4 4 2 5 2 2
12 5 4 5 4 4 4 3 5 2 2
13 3 5 5 2 2 2 1 3 1 1
14 5 3 4 3 3 3 2 5 2 2
15 4 5 5 3 3 3 2 5 2 2
16 4 4 4 4 3 5 1 4 1 1
17 5 4 4 5 5 5 4 5 4 4
18 5 4 4 2 3 4 1 5 1 1
19 5 4 5 5 5 5 3 5 3 3
20 5 4 4 5 5 5 2 5 2 1
2011-10-16 75
cxt
( 01)建立数据文件
2011-10-16 76
cxt
( 02)选择分析变量
—— 选 SPSS [Analyze]菜单中的( Data Reduction) →
( Factor),出现 【 Factor Analysis】 对话框;
—— 在 【 Factor Analysis】 对话框中左边的原始变量中,选
择将进行因子分析的变量选入( Variables) 栏。
2011-10-16 77
cxt
( 03)设置描述性统计量
—— 在 【 Factor Analysis】 框中选 【 Descriptives】 按
钮,出现 【 Descriptives 】 对话框;
—— 选择 Initial solution ( 未转轴的统计量)选项
—— 选择 KMO 选项
—— 点击( Contiue) 按钮确定。
2011-10-16 78
cxt
2011-10-16 79
cxt
( 04)设置对因子的抽取选项
—— 在 【 Factor Analysis】 框中点击 【 Extraction】 按钮,
出现 【 Factor Analysis:Extraction】 对话框;
—— 在 Method 栏中选择( Principal components) 选项;
—— 在 Analyze 栏中选择 Correlation matrix选项;
—— 在 Display 栏中选择 Unrotated factor solution选项;
—— 在 Extract 栏中选择 Eigenvalues over 并填上 1 ;
—— 点击( Contiue) 按钮确定,回到 【 Factor Analysis】
对话框中。
2011-10-16 80
cxt
2011-10-16 81
cxt
2011-10-16 82
cxt
( 05)设置因子转轴
—— 在 【 Factor Analysis】 对话框中,点击 【 Rotation】
按钮,出现 【 Factor Analysis:Rotation 】( 因子分析:旋
转)对话框。
—— 在 Method 栏中选择 Varimax( 最大变异法)
—— 在 Display栏中选择 Rotated solution( 转轴后的解)
—— 点击( Contiue) 按钮确定,回到 【 Factor Analysis】
对话框中。
2011-10-16 83
cxt
2011-10-16 84
cxt
( 06)设置因素分数
—— 在 【 Factor Analysis】 对话框中,点击【 Scores】
按钮,出现 【 Factor Analysis,Scores 】( 因素分析:分
数)对话框。
—— 一般取默认值。
—— 点击( Contiue) 按钮确定,回到 【 Factor Analysis】
对话框。
2011-10-16 85
cxt
2011-10-16 86
cxt
( 07)设置因子分析的选项
—— 在 【 Factor Analysis】 对话框中,单击 【 Options】 按钮,出
现 【 Factor Analysis:Options 】( 因素分析:选项)对话框。
—— 在 Missing Values 栏中选择 Exclude cases listwise(完全排除
缺失值 )
—— 在 Coefficient Display Format(系数显示格式 )栏中选择 Sorted
by size( 依据因素负荷量排序)项;
—— 在 Coefficient Display Format(系数显示格式 )勾选 ? Suppress
absolute values less than”,其后空格内的数字不用修改,默认为
0.1。
—— 如果研究者要呈现所有因素负荷量,就不用选取 ? Suppress
absolute values less than”选项。在例题中为了让研究者明白此项
的意义,才勾选了此项,正式的研究中应呈现题项完整的因素负荷量
较为适宜。
—— 单击 ? Continue”按钮确定。
2011-10-16 87
cxt
2011-10-16 88
cxt
2011-10-16 89
cxt
对 SPSS因子分析结果的解释
1,取样适当性( KMO) 检验
—— KMO值越大,表示变量间的共同因素越多,越适合进
行因素分析,要求 KMO>0.5
—— 要求 Barlett’s的卡方值达到显著程度
K M O a n d B a r t l e t t ' s T e s t
,6 9 5
2 3 4, 4 3 8
45
,0 0 0
K a is e r - M e y e r - O lk in M e a s u r e o f S a m p lin g
A d e q u a c y,
A p p r o x, C h i- S q u a r e
df
S ig,
B a r t le t t ' s T e s t o f
S p h e r ic it y
2011-10-16 90
cxt
2.共同度检查
C o m m u n a l i t i e s
1, 0 0 0, 9 2 8
1, 0 0 0, 7 3 8
1, 0 0 0, 9 0 0
1, 0 0 0, 8 7 2
1, 0 0 0, 9 0 1
1, 0 0 0, 8 6 7
1, 0 0 0, 9 1 9
1, 0 0 0, 9 0 7
1, 0 0 0, 9 6 5
1, 0 0 0, 9 3 9
A1
A2
A3
A4
A5
A6
A7
A8
A9
A 1 0
I n it ia l E x t r a c t i o n
E x t r a c t i o n M e t h o d, P r in c ip a l C o mp o n e n t A n a l y s is,
2011-10-16 91
cxt
3.因子陡坡检查,除去坡线平坦部分的因子
图中第三个因子以后较为平坦,故保留 3个因子
S c r ee P l o t
C o m p o n e n t N u m b e r
10987654321
E
ig
e
n
v
a
lu
e
7
6
5
4
3
2
1
0
2011-10-16 92
cxt
4.方差贡献率检验
—— 取特征值大于 1 的因子,共有 3 个,分别( 6.358)
( 1.547)( 1.032) ;
—— 变异量分别为( 63.58%)( 15.467%)( 10.32%)
To t a l V a r i a n c e E x p l a i n e d
6, 3 5 8 6 3, 5 7 9 6 3, 5 7 9 6, 3 5 8 6 3, 5 7 9 6 3, 5 7 9 4, 3 8 9 4 3, 8 8 5 4 3, 8 8 5
1, 5 4 7 1 5, 4 6 7 7 9, 0 4 6 1, 5 4 7 1 5, 4 6 7 7 9, 0 4 6 3, 1 3 7 3 1, 3 7 2 7 5, 2 5 7
1, 0 3 2 1 0, 3 2 0 8 9, 3 6 6 1, 0 3 2 1 0, 3 2 0 8 9, 3 6 6 1, 4 1 1 1 4, 1 0 8 8 9, 3 6 6
,4 0 8 4, 0 8 1 9 3, 4 4 7
,2 9 1 2, 9 1 0 9 6, 3 5 7
,1 5 6 1, 5 6 4 9 7, 9 2 1
,1 1 0 1, 1 0 4 9 9, 0 2 5
6, 0 5 6 E - 0 2, 6 0 6 9 9, 6 3 1
3, 3 6 8 E - 0 2, 3 3 7 9 9, 9 6 8
3, 2 2 2 E - 0 3 3, 2 2 2 E - 0 2 1 0 0, 0 0 0
C o mp o n e n t
1
2
3
4
5
6
7
8
9
10
T o t a l % o f V a r ia n c e C u mu la t iv e % T o t a l % o f V a r ia n c e C u mu la t iv e % T o t a l % o f V a r ia n c e C u mu la t iv e %
I n it ia l E ig e n v a lu e s E x t r a c t i o n S u ms o f S q u a r e d L o a d in g s R o t a t io n S u ms o f S q u a r e d L o a d i n g s
E x t r a c t i o n M e t h o d, P r in c ip a l C o mp o n e n t A n a ly s is,
2011-10-16 93
cxt
5.显示未转轴的因子矩阵
C o m p o n e n t M a t r i x
a
,9 3 9, 1 0 2
,9 2 2, 1 4 5
,9 0 1 -, 2 4 3, 2 3 9
,8 8 7 -, 1 9 4, 2 8 7
,8 7 4 -, 2 0 6, 2 4 5
,8 2 3, 4 7 4 -, 1 2 9
,8 1 3, 4 0 1 -, 3 7 7
,7 5 3, 4 9 5 -, 3 5 8
-, 5 7 4, 6 0 5, 2 0 6
-, 1 6 4, 6 3 3, 6 8 7
A5
A4
A1
A8
A6
A7
A9
A 1 0
A2
A3
1 2 3
C o mp o n e n t
E x t r a c t i o n M e t h o d, P r in c ip a l C o mp o n e n t A n a l y s is,
3 co mp o n e n t s e x t r a ct e d,a,
2011-10-16 94
cxt
6,分析转轴后的因子矩阵 ----根据因子负荷量形成 3个公共因子
R ot a t e d C om p on e n t M a t r i x
a
,9 1 5, 2 6 6 -, 1 4 1
,9 1 2, 2 6 6
,8 8 4, 2 7 1 -, 1 0 7
,8 2 4, 4 4 8 -, 1 4 7
,7 8 9, 4 9 8
,2 3 7, 9 3 9
,3 0 8, 9 2 4 -, 1 2 9
,4 1 7, 8 5 8
, 9 4 8
-, 5 5 7, 6 5 2
A1
A8
A6
A5
A4
A 1 0
A9
A7
A3
A2
1 2 3
C o m p on e n t
E x t r a c t i o n M e t h o d, P r in ci p a l C o m p on e n t A n a ly s is,
R o t a t io n Me t h o d, V a r im a x w it h K a is e r N o r m a l iz a t io n,
R o t a t io n c o n v e r g e d in 5 i t e r a t ion s,a,
2011-10-16 95
cxt
7,形成综合分析结果
题项
贡献率
(解释
变异量)
累积贡献率
(累积解释
变异量)
Component( 抽取的因子)
因子 1
负荷
量
因子 2
负荷
量
因子 3
负荷
量
共同
性
A1 电脑
A8 CAI课件
A6 电子邮件
A5校园网或因特网
A4 网上资料
43.885
% 43.885%
0.915
0.912
0.884
0.824
0.789
0.928
0.907
0.867
0.901
0.872
A10 视听会议
A9视频会议
A7电子讨论网
31.372
% 75.257%
0.939
0.924
0.858
0.939
0.965
0.919
A3 录像带
A2 录音磁带 14.108% 89.366% 0.948 0.652 0.900 0.738
特征值 4.389 3.137 1.411
2011-10-16 96
cxt
? 例 1:对美国洛杉矶 12个人口调查区的 5个经济
学变量的数据进行因子分析( 12个地区调查
表,sav)
菜单,Analyze- Data Reduction- Factor
? Variables, pop,School,employ,
Services,house
? 其他使用默认值(主成分分析法 Principal
components,选取特征值 >1,不旋转 )
2011-10-16 97
cxt
输出结果,
C o m m u n a l i t i e s
I ni t i a l E x t ra c t i o n
总人口
1, 0 0 0, 9 8 8
中等学校平均校龄
1, 0 0 0, 8 8 5
总雇员数
1, 0 0 0, 9 7 9
专业服务项目数
1, 0 0 0, 8 8 0
中等房价
1, 0 0 0, 9 3 8
E x t ra c t i o n M e t ho d, P ri nc i p a l Co m p o ne nt Ana l y s i s,
T o t a l V a r i a n c e E x p l a i n e d
I ni t i a l E i g e nv a l ue s E x t ra c t i o n Sum s o f Sq ua re d L o a d i ng s
Co m p o ne nt T o t a l % o f Va ri a nc e Cu m ul a t i v e % T o t a l % o f Va ri a nc e Cu m ul a t i v e %
1 2, 8 7 3 5 7, 4 6 6 5 7, 4 6 6 2, 8 7 3 5 7, 4 6 6 5 7, 4 6 6
2 1, 7 9 7 3 5, 9 3 3 9 3, 3 9 9 1, 7 9 7 3 5, 9 3 3 9 3, 3 9 9
3, 2 1 5 4, 2 9 7 9 7, 6 9 6
4, 1 0 0 1, 9 9 9 9 9, 6 9 5
5, 0 1 5, 3 0 5 1 0 0, 0 0 0
E x t ra c t i o n M e t ho d, P ri nc i p a l Co m p o ne nt Ana l y s i s,
2011-10-16 98
cxt
C o m p o n e n t M a t r i x ( a )
Co m p o ne nt
1 2
总人口, 5 8 1, 8 0 6
中等学校平均校龄, 7 6 7 -, 5 4 5
总雇员数, 6 7 2, 7 2 6
专业服务项目数, 9 3 2 -, 1 0 4
中等房价, 7 9 1 -, 5 5 8
E x t ra c t i o n M e t ho d, P ri nc i p a l Co m p o ne nt Ana l y s i s,
a 2 c o m p o ne nt s e x t ra c t e d,
2011-10-16 99
cxt
? 比较有用的结果:两个主成分 (因子 )f1,f2及因子载荷矩阵
(Component Matrix),根据该表可以写出每个原始变量(标
准化值)的因子表达式,
Pop?0.581f1 + 0.806f2
School ? 0.767f1 - 0.545f2
employ ? 0.672f1 + 0.726f2
Services ? 0.932f1 - 0.104f2
house ? 0.791f1 - 0.558f2
? 每个原始变量都可以是 5个因子的线性组合,提取两个因子 f1
和 f2,可以概括原始变量所包含信息的 93.4%。 f1和 f2前的
系数表示该因子对变量的影响程度,也称为变量在因子上的载
荷。
? 但每个因子(主成分)的系数 (载荷 )没有很明显的差别,所以
不好命名。 因此为了对因子进行命名,可以进行旋转,使系数
向 0和 1两极分化。
2011-10-16 100
cxt
? 由于系数没有很明显的差别,所以要进行旋转 (Rotation:
method一般用 Varimax方差最大旋转 ),使系数向 0和 1两极分
化。
? 菜单,Analyze- Data Reduction- Factor
? Variables, pop,School,employ,Services,
house
? Extraction,使用默认值( method,Principal
components,选取特征值 >1)
? Rotation,method选 Varimax
? Score:Save as variables 和 Display factor score
Coefficient matrix
2011-10-16 101
cxt
? 输出结果,(表 1- 3同前)
C o m m u n a l i t i e s
I ni t i a l E x t ra c t i o n
总人口
1, 0 0 0, 9 8 8
中等学校平均校龄
1, 0 0 0, 8 8 5
总雇员数
1, 0 0 0, 9 7 9
专业服务项目数
1, 0 0 0, 8 8 0
中等房价
1, 0 0 0, 9 3 8
E x t ra c t i o n M e t ho d, P ri nc i p a l Co m p o ne nt Ana l y s i s,
T o t a l V a r i a n c e E x p l a i n e d
I ni t i a l E i g e nv a l ue s E x t ra c t i o n Sum s o f Sq ua re d L o a d i ng s
Co m p o ne nt T o t a l % o f Va ri a nc e Cu m ul a t i v e % T o t a l % o f Va ri a nc e Cu m ul a t i v e %
1 2, 8 7 3 5 7, 4 6 6 5 7, 4 6 6 2, 8 7 3 5 7, 4 6 6 5 7, 4 6 6
2 1, 7 9 7 3 5, 9 3 3 9 3, 3 9 9 1, 7 9 7 3 5, 9 3 3 9 3, 3 9 9
3, 2 1 5 4, 2 9 7 9 7, 6 9 6
4, 1 0 0 1, 9 9 9 9 9, 6 9 5
5, 0 1 5, 3 0 5 1 0 0, 0 0 0
E x t ra c t i o n M e t ho d, P ri nc i p a l Co m p o ne nt Ana l y s i s,
2011-10-16 102
cxt
旋转后的因子载荷矩阵,
C o m p o n e n t M a t r i x ( a )
Co m p o ne nt
1 2
总人口, 5 8 1, 8 0 6
中等学校平均校龄, 7 6 7 -, 5 4 5
总雇员数, 6 7 2, 7 2 6
专业服务项目数, 9 3 2 -, 1 0 4
中等房价, 7 9 1 -, 5 5 8
E x t ra c t i o n M e t ho d, P ri nc i p a l Co m p o ne nt Ana l y s i s,
a 2 c o m p o ne nt s e x t ra c t e d,
R o t a t e d C o m p o n e n t M a t r i x ( a )
Co m p o ne nt
1 2
总人口, 0 1 6, 9 9 4
中等学校平均校龄, 9 4 1 -, 0 0 9
总雇员数, 1 3 7, 9 8 0
专业服务项目数, 8 2 5, 4 4 7
中等房价, 9 6 8 -, 0 0 6
E x t ra c t i o n M e t ho d, P ri nc i p a l Co m p o ne nt Ana l y s i s, R o t a t i o n M e t ho d, Va ri m a x w i t h K a i s e r N o rm a l i z a t i o n,
a R o t a t i o n c o nv e rge d i n 3 i t e ra t i o ns,
2011-10-16 103
cxt
因子旋转中的正交矩阵,
C o m p o n e n t T r a n s f o r m a t i o n M a t r i x
Co m p o ne nt 1 2
1, 8 2 1, 5 7 1
2 -, 5 7 1, 8 2 1
E x t ra c t i o n M e t ho d, P ri nc i p a l Co m p o ne nt Ana l y s i s,
R o t a t i o n M e t ho d, Va ri m a x w i t h K a i s e r N o rm a l i z a t i o n,
因子得分系数矩阵,
C o m p o n e n t S c o r e C o e f f i c i e n t M a t r i x
Co m p o ne nt
1 2
总人口 -, 0 9 1, 4 8 4
中等学校平均校龄, 3 9 2 -, 0 9 6
总雇员数 -, 0 3 9, 4 6 5
专业服务项目数, 2 9 9, 1 3 8
中等房价, 4 0 3 -, 0 9 8
E x t ra c t i o n M e t ho d, P ri nc i p a l Co m p o ne nt Ana l y s i s,
R o t a t i o n M e t ho d, Va ri m a x w i t h K a i s e r N o rm a l i z a t i o n,Co m p o n e nt Sc o re s,
C o m p o n e n t S c o r e C o v a r i a n c e M a t r i x
Co m p o ne nt 1 2
1 1, 0 0 0, 0 0 0
2, 0 0 0 1, 0 0 0
E x t ra c t i o n M e t ho d, P ri nc i p a l Co m p o ne nt Ana l y s i s,
R o t a t i o n M e t ho d, Va ri m a x w i t h K a i s e r N o rm a l i z a t i o n,Co m p o ne nt Sc o re s,
因子得分协方差矩阵,
2011-10-16 104
cxt
? 比较有用的结果:两个主成分 (因子 )f1,f2及旋转后的因子载荷矩
阵 (Rotated Component Matrix), 根据该表可以写出每个原始变
量(标准化值)的因子表达式,
Pop? 0.01602 f1 + 0.9946f2
School ? 0,941f1 - 0.00882f2
employ ? 0.137f1 + 0.98f2
Services ? 0.825f1 +0.447f2
house ? 0.968f1 - 0.00605f2
? F1= 0.01602 Pop+ 0,941 School+ 0.137 employ+ 0.825
Services+ 0.968 house
? F2= 0.9946 Pop-0.00882 School+ 0.98 employ+ 0.447
Services-0.00605 house
? 第一主因子对中等学校平均校龄,专业服务项目,中等房价有绝
对值较大的载荷 (代表一般社会福利 -福利条件因子 ); 而第二
主因子对总人口和总雇员数有较大的载荷 (代表人口 -人口因
子 ),
2011-10-16 105
cxt
? 比较有用的结果,因子得分 fac1_1,fac2_1。 其计算
公式:因子得分系数和原始变量的标准化值的乘积
之和 。
fac1_1 = -0.091 Pop + 0.392 School-0.039
employ+0.299 Services+0.403 house
fac2_1 = 0.484 Pop –0.096 School+0.465
employ+0.138 Services-0.098 house
? 然后可以利用因子得分进行聚类, 回归分析等。