自动驾驶 8-1: 平方误差准则和最小二乘法 (上) Squared Error Criterion and the Method of Least Squares (Part 1)

Posted 2021-12-29 AI架构师易筋

您好，欢迎收听自动驾驶汽车专业课程二。 在本课程中，我们将介绍状态估计，重点是定位。

让我们首先定义几个关键术语。

定位是我们确定的方法 车辆在世界中的位置和方向。 正如你可能想象的那样， 准确定位是关键组成部分 任何自动驾驶汽车软件堆栈。

如果我们想自动驾驶， 我们当然需要知道我们在哪里。 为此，我们可以使用状态估计。

这是计算物理量的过程 像来自一组测量值的位置。 由于任何现实世界的测量都是不精确的， 我们将开发尝试找到最佳或 给定一些假设的最佳值 关于我们的传感器和外部世界。

与状态估计相关的是参数估计的思想。 与状态不同，我们将其定义为 随时间变化的物理量， 参数随时间保持不变。

位置和方向是移动车辆的状态， 而特定电阻器的电阻在 车辆的电气子系统将是一个参数。

在课程的第一个模块或第一周， 我们将介绍状态估计中的一种常用技术， 最小二乘法。

到本周末， 你会知道一点关于最小二乘法的历史，你会 了解普通最小二乘法及其表亲， 加权最小二乘法。

然后，我们将介绍递归最小二乘法，最后， 讨论最小二乘法之间的联系 和最大似然估计技术。

在本模块的第一课中， 我们将介绍最小二乘法 还有一种叫做平方误差标准的东西。

在视频的最后， 你将能够描述最小二乘法是如何首先出现的

卡尔·弗里德里希·高斯 (Carl Friedrich Gauss) 在发现小行星谷神星时使用。

描述最小错误标准以及如何 它用于估计最佳参数。 推导出必要的正规方程 我们需要解决才能使用该方法。

让我们开始。最小二乘法起源于 18世纪后期井 在任何人考虑汽车的概念之前。

1801 年 1 月 1 日， 一位意大利牧师和天文学家 朱塞佩·皮亚齐在夜空中发现了一个新的天体。 小行星或小行星现在称为谷神星。

你可以在这里看到它靠近月球和地球。

皮亚齐进行了 24 次望远镜观测 这个新物体经过 40 多天才消失在阳光下。

由于谷神星的直径只有 900 公里左右， 再次找到它是极具挑战性的。

这意味着其他天文学家无法证实皮亚齐的发现。

为了帮助再次定位谷神星， 卡尔·弗里德里希·高斯，被称为世界王子 数学家们对许多不同领域的巨大贡献， 使用最小二乘法准确估计 谷神星轨道参数基于 Piazza 公布的测量结果。

有了高斯的计算， 天文学家成功地重新发现谷神星 在皮亚齐做出第一次观察后将近一年。

虽然他在 1809 年发表了这个方法， 高斯声称他开发了最小二乘法 1795 年，早于 Lesion 的作品。

Gauss 总结了该方法如下。 未知参数的最可能值是最小化 我们观察到的和我们期望的之间的平方误差的总和。 为了说明这是如何工作的， 让我们举一个简单的例子。

假设您正在尝试测量以欧姆为单位的值 自动驾驶汽车驱动系统中的简单电阻器。 要做到这一点，你抓住 放在实验室周围的相对便宜的万用表。 现在，假设您按顺序收集这四个单独的测量值。

如果你以前学过电路， 您可能会记得所显示的碳膜电阻器类型 这里是根据其额定电阻值进行颜色编码的。 该电阻器的额定值为 1 千欧。

但是，由于多种因素， 真实电阻可能与额定值不同。 在这种情况下，电阻器有一个金带 这表明它可以变化多达百分之五。

此外，让我们想象一下我们的万用表特别是 穷人和那个人 测量不是特别仔细。

目前，足以治疗 这种噪音相当于一般错误 但我们会回到解释噪音的方式 模块后面的概率视角。 对于四个测量中的每一个， 我们定义了一个独立于其他噪声项的标量噪声项。

从统计上讲，在这种情况下，我们会说噪声 是独立同分布的或 IID， 稍后我们将对此进行更多讨论。

接下来，我们定义之间的误差 每个测量值和我们电阻 x 的实际值。 但请记住，我们还不知道 x 是什么。 为了找到 x，我们将这些误差平方以得出一个方程 这是我们测量的函数，并且 我们正在寻找的未知阻力。

定义这些错误后， 最小二乘法说的是 我们正在寻找的电阻值， 这是 x 的最佳估计是 一种最小化平方误差标准的方法， 有时也称为平方误差成本函数或损失函数。

为了最小化平方误差标准， 我们将用矩阵表示法重写我们的错误。 当我们必须处理时，这将特别有用 数以百计甚至数以千计的测量。

我们将定义一个标识为粗体 e 的误差向量， 这是我们观察到的函数堆积成 向量 y 和矩阵 H 称为雅可比矩阵。 最后，我们的真实阻力 x。H 的尺寸为 m × n，其中 m 是测量次数，n 是数量 我们希望估计的未知数或参数。

一般来说，这将是一个矩形矩阵，我们可以 在这种线性情况下很容易写下来。 这将需要更多的数学努力来计算何时 我们将在下一课中讨论非线性估计。 请注意，这里 x 是单个缩放器。 我们稍后会看到它可以是一个包含多个未知数的向量。

考虑到这些定义， 我们可以将平方误差标准转换为向量符号，如下所示。 展开括号， 我们得出了这个有点令人生畏的表达方式。

所以现在怎么办？好吧，记住我们需要最小化 相对于我们的真实电阻 x 的平方误差。

从微积分中，我们知道我们可以通过对 误差函数关于 未知 x 并将导数设置为零。 让我们这样做。 我们将不得不使用一些标准的矩阵表达式。 重新排列，我们得到所谓的正规方程， 可以写成单个矩阵公式。

我们可以解决这些来找到x-hat， 最小化我们的平方误差标准的电阻。

此表达式有唯一解当且仅当 如果 H 转置 H 不是奇异的。 换句话说，如果矩阵有逆矩阵。 如果我们有 m 个测量值和 n 个未知参数， H 转置 H 将是 n × n。

当且仅当矩阵是可逆的 如果 m 大于或等于 n。所以，我们至少需要与 未知数以推导出最小二乘解。 这通常不会有问题。

事实上，我们会经常面临挑战 处理过多的测量。 但无论如何，你应该保持 使用公式时请记住这一限制。 回到我们特殊的阻力问题， 让我们填写我们的变量。 一旦我们有了这些数量， 这只是插拔的问题。 该表达式非常易于编码 正如您将在模块作业中看到的那样。 注意这里的表达式简化为 我们四次测量的算术平均值。

也许这是你一直以来都想做的事情。 现在，我们有另一个使用算术平均值的理由， 它最小化了简单的最小二乘准则。

最后，我们应该注意我们所做的两个重要假设。

首先，我们假设我们的测量模型是线性的。 这是一个非常重要的假设 在复杂的系统中经常被破坏。 我们将在后面的课程中讨论非线性测量模型。

其次，我们假设所有 我们的测量在我们的误差方程中具有相同的权重。 换句话说， 我们假设我们同样关心我们的每一个测量。

总而言之，在这个视频中， 你已经了解到最小二乘法是由 卡尔弗里德里希高斯谁用它来准确 预测一个名为谷神星的新行星状物体的轨道。

你看到了我们如何最小化 求解感兴趣参数值的最小二乘准则。 我们注意到普通最小二乘法假设 线性测量模型和 无法处理重要性不同的测量。

在下一个视频中，我们将扩展 加权最小二乘法的最小二乘法， 这可以解释不同重要性的测量。

参考

https://www.coursera.org/learn/state-estimation-localization-self-driving-cars/lecture/zDFtr/lesson-1-part-1-squared-error-criterion-and-the-method-of-least-squares