1.1 为直觉寻找词语

我们在机器学习中经常面临的一个挑战是，概念和词语都很模糊，机器学习系统的某个特定组件可以抽象为不同的数学概念。例如，在机器学习中，“算法 ”一词至少有两种不同的含义。在第一种意义上，我们使用 “机器学习算法 ”来指根据输入数据进行预测的系统。我们将这些算法称为预测器。在第二种意义上，我们使用完全相同的短语 “机器学习算法 ”来指一种系统，它可以调整预测器的某些内部参数，从而使其在未来未见的输入数据上表现良好。在这里，我们将这种调整称为训练系统。

本书不会解决含混不清的问题，但我们希望预先强调，根据上下文的不同，相同的表达方式可能有不同的含义。不过，我们会努力使上下文足够清晰，以减少歧义的程度。

本书的第一部分讨论机器学习系统的三个主要组成部分：数据、模型和学习所需的数学概念和基础。我们将在此简要概述这些组成部分，在讨论完必要的数学概念后，我们将在第 8 章中再次讨论它们。

虽然并非所有数据都是数字，但考虑数字格式的数据往往是有用的。在本书中，我们假定数据已经被适当地转换成适合读入计算机程序的数字表示形式。因此，我们将数据视为向量。向量是数据的另一种表现形式，它说明了文字是多么微妙，我们可以（至少）用三种不同的方式来思考向量：向量是一个数字数组（计算机科学观点），向量是一个有方向和大小的箭头（物理学观点），向量是一个服从加法和缩放的对象（数学观点）。

模型通常用于描述生成数据的过程，与手头的数据集类似。因此，好的模型也可以被看作是真实（未知）数据生成过程的简化版本，捕捉对建模数据并提取隐藏模式中至关重要的特征。好的模型可以用来预测真实世界中会发生的事情，而无需进行真实世界的实验。

现在我们来谈谈问题的关键，即机器学习的学习部分。假设我们得到了一个数据集和一个合适的模型。训练模型意味着利用现有数据优化模型的某些参数，而模型的参数与效用函数相关，效用函数用于评估模型对训练数据的预测效果。大多数训练方法可以看作是一种类似于爬山到达山顶的方法。在这种类比中，山顶对应的是某种所需的性能指标的最大值。然而，在实践中，我们希望模型在未见过的数据上表现良好。在我们已经见过的数据（训练数据）上表现良好，可能只意味着我们找到了记忆数据的好方法。然而，这可能并不能很好地推广到未见过的数据上，而且在实际应用中，我们经常需要让机器学习系统面对它以前从未遇到过的情况。

让我们总结一下本书中涉及的机器学习的主要概念：

• 我们将数据表示为向量。
• 我们选择一个合适的模型，或者使用概率观点，或者使用优化观点。
• 我们使用数值优化方法从可用数据中学习，目的是让模型在未使用或未训练的数据上表现良好。