相关与回归

线性回归概述

线性回归

• 回归分析是使用一定的数学模型表示变量相关关系的方法。
• 一元线性回归是当只有一个自变量且答题呈一次函数的线性关系的回归分析。

一元线性回归模型

1. $\hat{Y} = a + bX$
   • $a$ 截距
   • $b$ 回归系数、斜率。又叫$\bar{Y}$对$X$的回归系数，用$b_{Y\cdot X}$或$X \rightarrow Y$表示
2. $\hat{X} = a' + b'Y$
   • $a'$ 截距
   • $b'$ 回归系数、斜率。又叫$\bar{X}$对$Y$的回归系数，用$b_{X\cdot Y}$或$Y \rightarrow X$表示

线性回归的基本假设

1. 线性关系假设
   • $X$与$Y$在总体上具有线性关系，最基本假设。
2. 正态性假设 $Y$服从正态分布
3. 独立性假设
   • 一个$X$对应的$Y$值与另一个$X$对应的$Y$之间相互独立
   • 不同$X$产生的误差相互独立，误差与$X$之间也相互独立
4. 误差等分散性假设
   • $X$产生的误差，呈随机化的常态分布，变异量应相等。

相关与回归的关系

1. 区别
   1. 相关分析两变量的关系密切程度；回归分析两变量的预测关系
   2. 相关是双向关系；回归是单向关系；
   3. 相关用相关系数表示密切程度；回归用回归系数表示密切程度
   4. 相关用散点图表示；回归用线形图表示。
2. 联系
   1. 广义上，相关包含回归
   2. 做回归方程前需要做散点图确定两个变量之间的存在相关关系
   3. 相关系数和回归系数可以相互换算(仅限一元回归)
      • $b_{Y\cdot X} = r \cdot \frac{S_{Y}}{S_{X}} \quad \text{or}\quad b_{X\cdot Y} = r \cdot \frac{S_{X}}{S_{Y}}$
      • $r = \sqrt{b_{Y\cdot X} \times b_{X\cdot Y}}$