神经网络框架

文档摘要

神经网络框架我们已经了解到，为了高效地训练神经网络，我们需要做两件事：对张量进行操作，例如乘法、加法以及计算一些函数（如Sigmoid或Softmax）计算所有表达式的梯度，以便执行梯度下降优化课前测验虽然库可以完成第一部分的工作，但我们还需要某种机制来计算梯度。在我们在上一节中开发的我们自己的框架里，我们不得不手动编写所有导数函数，这些函数在执行反向传播的方法内部。理想情况下，一个框架应该能够让我们计算任何我们定义的表达式的梯度。另一个重要的方面是能够在GPU或其他专用计算单元（如TPU）上执行计算。深度神经网络训练需要大量的计算，能够在GPU上并行化这些计算非常重要。 ✅ "并行化"是指将计算分布在多个设备上。