循环神经网络的从零开始实现

文档摘要

循环神经网络的从零开始实现 :label: 本节将根据 :numref: 中的描述，从头开始基于循环神经网络实现字符级语言模型。这样的模型将在H.G.Wells的时光机器数据集上训练。和前面 :numref: 中介绍过的一样，我们先读取数据集。 [独热编码] 回想一下，在中，每个词元都表示为一个数字索引，将这些索引直接输入神经网络可能会使学习变得困难。我们通常将每个词元表示为更具表现力的特征向量。最简单的表示称为独热编码（one-hot encoding），它在 :numref: 中介绍过。简言之，将每个索引映射为相互不同的单位向量：假设词表中不同词元的数目为$N$（即），词元索引的范围为$0$到$N-1$。