9.4最大似然作为正交投影

文档摘要

本教程由 Datawhale 开源社区编译，与对应的英文原版均开源免费 9.4 最大似然作为正交投影在经过大量代数运算推导出最大似然估计和MAP估计之后，我们现在将为最大似然估计提供一个几何解释。让我们考虑一个简单的线性回归设置： $$ y = x \theta + \epsilon, \quad \epsilon \sim \mathcal{N}(0, \sigma^2) \tag{9.65} $$ 其中，我们考虑从原点通过的线性函数 $ f: \mathbb{R} \to \mathbb{R} $ （为了清晰起见，这里省略了特征）。参数 $ \theta $ 决定了直线的斜率。图9.12(a)展示了一个一维数据集。