第一章 简介与动机

机器学习是指设计算法，自动从数据中提取有价值的信息。这里强调的是 “自动”，即机器学习关注的是可应用于许多数据集的通用方法，同时产生有意义的东西。机器学习的核心有三个概念：数据、模型和学习。

由于机器学习本质上是数据驱动的，因此数据是机器学习的核心。机器学习的目标是设计通用方法，从数据中提取有价值的模式，理想情况下无需太多特定领域的专业知识。例如，给定一个大型文档语料库（如许多图书馆中的书籍），机器学习方法可用于自动查找文档中共享的相关主题（Hoffman et al.，2010）。为了实现这一目标，我们设计的模型通常与生成数据的过程相关，类似于我们得到的数据集。例如，在回归设置中，模型将描述一个将输入映射到实值输出的函数。套用 Mitchell（1997）的说法： 如果一个模型在考虑了数据之后，在给定任务上的表现有所改善，那么这个模型就可以说是从数据中学习的。我们的目标是找到能很好地泛化到我们将来可能会关注的未见数据的好模型。学习可以理解为一种通过优化模型参数来自动发现数据中的模式和结构的学习方法。

虽然机器学习已经有了很多成功案例，而且设计和训练丰富灵活的机器学习系统的软件也很容易获得，但我们认为，机器学习的数学基础对于理解构建更复杂机器学习系统的基本原理非常重要。了解这些原理有助于创建新的机器学习解决方案、理解和调试现有方法，以及了解我们正在使用的方法的固有假设和局限性。