回归分析¶

21Fall MANA130021，回归分析，戴国榕

线性回归。

主要内容¶

• 一元线性回归
• 多元线性回归
• 违背基本假设的情况
  • 异方差
  • 自相关
  • 异常值和强影响点
• 变量选择
• 多重共线性
• 岭回归
• 降维方法
  • 主成分回归
  • 偏最小二乘

参考书¶

何晓群的《应用回归分析（R 语言版）》以及王松桂的《线性统计模型-线性回归与方差分析》，前者偏统计应用，后者补全了很多证明。

体会¶

线性回归可以说是统计最重要的应用之一了。这门课是戴老师来复旦开的第一门课，大家难免质疑、抱怨。但现在看来，戴老师讲的还是很好的，回归的思想传达了，证明我也学了个大概，关键是还记住了很多东西：

• 回归就是Hilbert空间内的投影！
• 正态分布的随机误差可以做均值回归，拉普拉斯分布的随机误差则可以做分位数回归。
• L1正则就是LASSO回归，诱导稀疏性；L2正则就是岭回归，缓解共线性、过拟合。
• F检验可以通过带约束的最小二乘来求。
• PSD矩阵有唯一的平方根。
• ...

戴老师还和我们分享了当时21年发表的回归领域最新的成果：A Modern Gauss-Markov Theorem，他直呼：“我们见证了学科的发展”。希望戴老师在复旦一切顺利吧。