当前位置:首页 >> 经济学 >>

统计学第六版贾俊平第12章


统计学
第六版

第 12 章 多元线性回归

作者:中国人民大学统计学院

12 - 1

贾俊平

统计学
第六版

第12章 多元线性回归
多元线性回归模型 回归方程的拟合优度 显著性检验 多重共线性 利用回归方程进行估计和预测 虚拟自变量的回归

12.1 12.2 12.3 12.4 12.5 12.6
12 - 2

统计学
第六版

学习目标

1. 2. 3. 4. 5. 6. 7.

回归模型、回归方程、估计的回归方程 回归方程的拟合优度 回归方程的显著性检验 多重共线性问题及其处理 利用回归方程进行估计和预测 虚拟自变量的回归问题 用 Excel 进行回归分析

12 - 3

统计学
第六版

12.1 多元线性回归模型

一. 多元回归模型与回归方程 二. 估计的多元回归方程 三. 参数的最小二乘估计

12 - 4

统计学
第六版

多元回归模型与回归方程

12 - 5

统计学
第六版

多元回归模型
(multiple regression model)

1. 一个因变量与两个及两个以上自变量的回归 2. 描述因变量 y 如何依赖于自变量 x1 , x2 ,…, xp 和误差项 ? 的方程,称为多元回归模型 3. 涉及 p 个自变量的多元回归模型可表示为

y ? b 0 ? b1 x1i ? b 2 x2i ? ? ? b p x pi ? ? i
? b0 ,b1,b2 ,?,bp是参数 ? ? 是被称为误差项的随机变量 ? y 是x1,,x2 ,? ,xp 的线性函数加上误差项? ? ? 包含在y里面但不能被p个自变量的线性关系 所解释的变异性
12 - 6

统计学
第六版

多元回归模型
(基本假定)

1. 误差项ε 是一个期望值为 0 的随机变量,即 E(?)=0 2. 对于自变量 x1 , x2 , … , xp 的所有值, ? 的 方差?2都相同 3. 误差项ε是一个服从正态分布的随机变量, 即ε~N(0,?2),且相互独立

12 - 7

统计学
第六版

多元回归方程
(multiple regression equation)

1. 描述因变量 y 的平均值或期望值如何依赖 于自变量 x1, x2 ,…,xp的方程 2. 多元线性回归方程的形式为 E( y ) = b0+ b1 x1 + b2 x2 +…+ bp xp
? b1,b2,?,bp称为偏回归系数

? bi 表示假定其他变量不变,当 xi 每变 动一个单位时,y 的平均平均变动值
12 - 8

统计学
第六版

二元回归方程的直观解释

二元线性回归模型 y

y ? b 0 ? b1 x1 ? b 2 x2 ? ?
(观察到的y)

b0
回归面

}

?i

x2 (x1,x2) x1
12 - 9

E ( y ) ? b 0 ? b1 x1 ? b 2 x2

统计学
第六版

估计的多元回归方程

12 - 10

统计学
第六版

估计的多元回归的方程
(estimated multiple regression equation)

? ,b ? ,b ? ,?, b ? 估计回归方 1. 用样本统计量 b 0 1 2 p 程中的 参数 b 0 , b1 , b 2 ,?, b p 时得到的方程 2. 由最小二乘法求得 3. 一般形式为

? ?b ? x ?b ? x ??? b ? x ??b y 0 1 1 2 2 p p
? ,b ? ,b ? ,?, b ? 是 ? b 0 1 2 p 估计值 ? 是 y 的估计值 ? y
12 - 11

b 0 , b1 , b 2 ,?, b p

统计学
第六版

参数的最小二乘估计

12 - 12

统计学
第六版

参数的最小二乘法

1. 使因变量的观察值与估计值之间的离差平方和 ? ,b ? ,b ? ,?, b ? 。即 达到最小来求得 b 0 1 2 p

2. 求解各回归参数的标准方程如下
? ?Q ? ? ?b 0 ? ? ?Q ? ?b ? i ?0
? b0 ?b 0

?0
? bi ? b i

(i ? 1,2, ? , p )

12 - 13

统计学
第六版

参数的最小二乘法
(例题分析)

【例】一家大型商业银行在多个地区设有分行, 为弄清楚不良贷款形成的原因,抽取了该银行 所属的25家分行2002年的有关业务数据。试建 立不良贷款 (y) 与贷款余额 (x1) 、累计应收贷款 (x2)、贷款项目个数(x3)和固定资产投资额(x4)的 线性回归方程,并解释各回归系数的含义

用Excel进行回归
12 - 14

统计学
第六版

12.2 回归方程的拟合优度

一. 多重判定系数 二. 估计标准误差

12 - 15

统计学
第六版

多重判定系数

12 - 16

统计学
第六版

多重判定系数
(multiple coefficient of determination)

1. 回归平方和占总平方和的比例 2. 计算公式为

3. 因变量取值的变差中,能被估计的多元回 归方程所解释的比例
12 - 17

统计学
第六版

修正多重判定系数
(adjusted multiple coefficient of determination)

1. 用样本容量n和自变量的个数p去修正R2得到 2. 计算公式为

3. 避免增加自变量而高估 R2 4. 意义与 R2类似 5. 数值小于R2
Excel 输出结果的分析
12 - 18

统计学
第六版

估计标准误差 Sy

1. 对误差项?的标准差?的一个估计值 2. 衡量多元回归方的程拟合优度 3. 计算公式为

Excel 输出结果的分析
12 - 19

统计学
第六版

12.3 显著性检验

一. 线性关系检验 二. 回归系数检验和推断

12 - 20

统计学
第六版

线性关系检验

12 - 21

统计学
第六版

线性关系检验

1. 检验因变量与所有自变量之间的是否显著 2. 也被称为总体的显著性检验 3. 检验方法是将回归离差平方和(SSR)同剩余离 差平方和(SSE)加以比较,应用 F 检验来分 析二者之间的差别是否显著
?

?

如果是显著的,因变量与自变量之间存在线性 关系 如果不显著,因变量与自变量之间不存在线性 关系

12 - 22

统计学
第六版

线性关系检验
H0:b1?b2???bp=0 线性关系不显著 H1:b1,b2,?,bp至少有一个不等于0

1. 提出假设
?
?

2. 计算检验统计量F

3. 确定显著性水平?和分子自由度p、分母自由度np-1找出临界值F ? 4. 作出决策:若F>F ?,拒绝H0 Excel 输出
12 - 23

结果的分析

统计学
第六版

回归系数检验和推断

12 - 24

统计学
第六版

回归系数的检验

1. 线性关系检验通过后,对各个回归系数有选 择地进行一次或多次检验 2. 究竟要对哪几个回归系数进行检验,通常需 要在建立模型之前作出决定 3. 对回归系数检验的个数进行限制,以避免犯 过多的第一类错误(弃真错误)

4. 对每一个自变量都要单独进行检验
5. 应用 t 检验统计量
12 - 25

统计学
第六版

回归系数的检验
(步骤)
H0: bi = 0 (自变量 xi 与 因变量 y 没有线性关系) H1: bi ? 0 (自变量 xi 与 因变量 y有线性关系)

1. 提出假设
? ?

2. 计算检验的统计量 t
Excel 输出 结果的分析

3. 确定显著性水平?,并进行决策

?

? t?>t??2,拒绝H0; ? t?<t??2,不能拒绝H0

12 - 26

统计学
第六版

回归系数的推断
(置信区间)

?回归系数在(1-?)%置信水平下的置信区间为

? ? t (n ? p ? 1) s ? b i ? 2 b
回归系数的 抽样标准差

i

Excel 输出结果的分析
12 - 27

统计学
第六版

12.4 多重共线性

一. 多重共线性及其所产生的问题 二. 多重共线性的判别 三. 多重共线性问题的处理

12 - 28

统计学
第六版

多重共线性及其产生的问题

12 - 29

统计学
第六版

多重共线性
(multicollinearity)

1. 回归模型中两个或两个以上的自变量彼此 相关 2. 多重共线性带来的问题有
?

可能会使回归的结果造成混乱,甚至会把分 析引入歧途
可能对参数估计值的正负号产生影响,特别 是各回归系数的正负号有可能同我们与其的 正负号相反
Excel 输出结果的分析

?

12 - 30

统计学
第六版

多重共线性的识别

12 - 31

统计学
第六版

多重共线性的识别

1. 检测多重共线性的最简单的一种办法是计算模型 中各对自变量之间的相关系数,并对各相关系数 进行显著性检验
?

若有一个或多个相关系数显著,就表示模型中所用 的自变量之间相关,存在着多重共线性 模型中各对自变量之间显著相关。 当模型的线性关系检验 (F检验) 显著时,几乎所有回 归系数的t检验却不显著 回归系数的正负号与其的相反。 Excel 输出结果的分析

2. 如果出现下列情况,暗示存在多重共线性
? ?

?

12 - 32

统计学
第六版

多重共线性
(例题分析)

【例】判别各自变量之间是否存在多重共线性
贷款余额、应收贷款、贷款项目、固定资产投资额之间的相关矩阵

12 - 33

统计学
第六版

多重共线性
(例题分析)

【例】判别各自变量之间是否存在多重共线性
相关矩阵系数的检验统计量

12 - 34

统计学
第六版

多重共线性
(例题分析)

1.

t??2(25-2)=2.0687 ,所有统计量 t>t??2(25-2)=2.0687 ,所以均拒绝原假设,说明这 4 个自变量两两之间 都有显著的相关关系 由表Excel输出的结果可知,回归模型的线性关系显 著(Significance-F=1.03539E-06<?=0.05)。而回归 系 数 检 验 时 却 有 3 个 没 有 通 过 t 检 验 (PValue=0.074935 、 0.862853 、 0.067030>?=0.05) 。这也暗示了模型中存在多重共线性 固定资产投资额的回归系数为负号(-0.029193) ,与 预期的不一致

2.

3.

12 - 35

统计学
第六版

多重共线性问题的处理

12 - 36

统计学
第六版

多重共线性
(问题的处理)

1. 将一个或多个相关的自变量从模型中剔除 ,使保留的自变量尽可能不相关
2. 如果要在模型中保留所有的自变量,则应
?
?

避免根据 t 统计量对单个参数进行检验
对因变量值的推断 ( 估计或预测 ) 的限定在自 变量样本值的范围内
Excel 输出结果的分析

12 - 37

统计学
第六版

12.5 利用回归方程进行估计和预测

软件应用

12 - 38

统计学
第六版

置信区间估计
(例题分析)

STATISTICA输出的不良贷款的置信区间
variable: VAR1 B-Weight Value 0.040039 100 0.148034 10 0.014529 15 -0.02919 60 B-Weight * Value 4.003935 1.480339 0.21794 -1.75157 -1.02164 2.929003 2.049598 3.808407

VAR2 VAR3 VAR4 VAR5 Intercpt Predictd -95.0%CL +95.0%CL
12 - 39

统计学
第六版

预测区间估计
(例题分析)

STATISTICA输出的不良贷款的预测区间
variable: VAR1 B-Weight Value 0.040039 0.148034 0.014529 -0.029193 B-Weight * Value 4.003935 1.480339 0.21794 -1.751572 -1.02164 2.929003 -0.884199 6.742205

VAR2 VAR3 VAR4 VAR5 Intercpt Predictd -95.0%PL +95.0%PL
12 - 40

100 10 15 60

统计学
第六版

12.6 虚拟自变量的回归

一. 含有一个虚拟自变量的回归 二. 用虚拟自变量回归解决方差分析问题

12 - 41

统计学
第六版

含有一个虚拟自变量的回归

12 - 42

统计学
第六版

虚拟自变量 (dummy variable)

1. 用数字代码表示的定性自变量

2. 虚拟自变量可有不同的水平
?

只有两个水平的虚拟自变量
?

比如,性别(男,女) 贷款企业的类型(家电,医药,其他)

?

有两个以上水平的虚拟自变量
?

3. 虚拟变量的取值为0,1
12 - 43

?1 男 x?? ?0 女

统计学
第六版

虚拟自变量的回归

1. 回归模型中使用虚拟自变量时,称为虚拟自变 量的回归 2. 当虚拟自变量只有两个水平时,可在回归中引 入一个虚拟变量
?

比如,性别(男,女)

3. 一般而言,如果定性自变量有 k个水平,需要在 回归中模型中引进k-1个虚拟变量
?1 水平1 ?1 水平2 ?1 水平k x1 ? ? , x2 ? ? ,?, x k ?1 ? ? ?0 其他水平 ?0 其他水平 ?0 其他水平
12 - 44

统计学
第六版

虚拟自变量的回归
(例题分析)

【例】为研究 考试成绩与性 别之间的关系 ,从某大学商 学院随机抽取 男女学生各8 名,得到他们 的市场营销学 课程的考试成 绩如下表
12 - 45

统计学
第六版

虚拟自变量的回归
(例题分析)
散点图

100

¨ ? ? ? ? ? ? ?

75

50

25



女 ? ? ± ?

y与x的回归

? ? ? ? ? ? ? ¨? ? ? ? ± ? ? ? ? ? ? ? ? ?
12 - 46

统计学
第六版

虚拟自变量的回归
(例题分析)
男( x=0):E(y) =b0—男学生考试成绩的期望值
女(x=0 ):E(y) =b0+ b1—b1女学生考试成绩的期望值

?

引进虚拟变量时,回归方程可写:E(y) =b0+ b1x
?
?

?

注意:当指定虚拟变量0—1时
?

b0总是代表与虚拟变量值0所对应的那个分类变量水
平的平均值

?

b1总是代表与虚拟变量值1所对应的那个分类变量水
平的平均响应与虚拟变量值0所对应的那个分类变量 水平的平均值的差值,即

12 - 47

平均值的差值 =(b0+ b1) - b0= b1

统计学
第六版

虚拟自变量的回归
(例题分析)

【例】为研 究工资水平 与工作年限 和性别之间 的关系,在 某行业中随 机 抽 取 10 名 职工,所得 数据如下表
12 - 48

y与x1的回归及分析 y与x1、 x2的回归及分析

统计学
第六版

虚拟自变量的回归
(例题分析)

?

引进虚拟变量时,回归方程可写: E(y) =b0+ b1x1+ b2x2
? ?

女( x2=0):E(y|女性) =b0 +b1x1 男(x2=1):E(y|男性) =(b0 + b2 ) +b1x1

? ? ?
?

b0的含义表示:女性职工的期望月工资收入 (b0+ b2)的含义表示:男性职工的期望月工资收入 b1含义表示:工作年限每增加1年,男性或女性工资
的平均增加值 b 2 含义表示:男性职工的期望月工资收入与女性职 工的期望月工资收入之间的差值 (b0+ b2) - b0= b2
12 - 49

统计学
第六版

用虚拟自变量回归 解决方差分析问题

12 - 50

统计学
第六版

方差分析的回归方法
(例题分析)

?

引进虚拟变量
?1 航空公司 ?1 零售业 ?1 旅游业 x1 ? ? , x2 ? ? , x3 ? ? ?0 其他行业 ?0 其他行业 ?0 其他行业 建立回归方程:E(Y)=b0+ b1x1+ b2x2+b3x3

? ? ?

用Excel进行回归

?
? ?

12 - 51

b0—家电制造业投诉次数的平均值 (b0+ b1)—零售业投诉次数的平均值 (b0+ b2)—旅游业投诉次数的平均值 (b0+ b3)—航空公司投诉次数的平均值

统计学
第六版

本章小结

1. 多元回归模型、回归方程、估计方程 2. 回归方程的拟合优度 3. 显著性检验 4. 多重共线性 5. 利用回归方程进行估计和预测

6. 虚拟自变量的回归
7. 方差分析的回归方法
12 - 52






赞助商链接
相关文章:
统计学(第六版)期末考试考点梳理
统计学(第六版)期末考试考点梳理_金融/投资_经管营销_专业资料。统计学(第六版)期末考试考点梳理<贾俊平> 统计学(第六版)期末考试考点梳理第一章 导论 1.1.1...
统计学(贾俊平版)第十章答案
统计学(贾俊平版)第十章答案 - 第十章习题 10.1 H0:三个总体均值之间没有显著差异。 H1: 三个总体均值之间有显著差异。 方差分析:单因素方差分析 SUMMARY 组...
贾俊平-统计学(第六版)思考题答案
贾俊平-统计学(第六版)思考题答案 - 统计学思考题 第一章: 1、 什么是统计学? 统计学是一门收集、分析、表述、解释数据的科学和艺术。 2、 描述统计:研究...
第六版统计学公式大全贾俊平答案_图文
第六版统计学公式大全贾俊平答案_经济学_高等教育_教育专区。自己精心整理的公式大全,第六版统计学公式大全贾俊平答案 统计学总结数据分布特征 (第三章) 特征 描述...
统计学(第五版)贾俊平版期末考试模拟试题一
统计学(第五版)贾俊平版期末考试模拟试题一 - 模拟试题一 一 . 单项选择题 (每小题 2 分,共 20 分 ) 9 名大学生每月的手机话费支出( 单 ...
统计学 贾俊平第四版第七章课后答案(目前最全)_图文
统计学 贾俊平第版第七章课后答案(目前最全)_工学_高等教育_教育专区。统计...解: (7.1,12.9) 。 7.9 某居民小区为研究职工上班从家里到单位的距离,...
统计学-第四版-(贾俊平-著)-中国人民大学出版社-课后答案
统计学-第四版-(贾俊平-著)-中国人民大学出版社-课后答案_其它_高等教育_教育专区。统计学 第四版 (贾俊平 著) 中国人民大学出版社 课后答案 第 1 章 绪论 ...
《统计学》(贾俊平,第五版)分章习题及答案
统计学》(贾俊平,第五版)分章习题及答案 - 《统计学》分章习题及答案 (贾俊平,第五版) 主编:杨群 I / 43 目 录 习题部分 ......
统计学第五版课后答案(贾俊平)
统计学第五版课后答案(贾俊平) - 第四章 统计数据的概括性度量 4.1 一家汽车零售店的 10 名销售人员 5 月份销售的汽车数量(单位:台)排序后如下: 2 4 7 ...
贾俊平_统计学 第四版_习题答案
贾俊平_统计学 第四版_习题答案_经济学_高等教育_教育专区。统计学第四版答案(贾俊平) 第1 章 绪论 1.什么是统计学?怎样理解统计学与统计数据的关系? 2.试...
更多相关标签: