文本表示为张量

文档摘要

文本表示为张量课前测验文本分类在本节的前半部分，我们将专注于文本分类任务。我们将使用AG 新闻数据集，该数据集包含如下新闻文章：类别：科技/技术标题：肯塔基州公司获得研究肽的拨款（美联社）正文：美联社报道——由路易斯维尔大学的一位化学研究人员创办的一家公司获得了开发某项技术的拨款…… 我们的目标是根据文本将新闻文章分类到一个类别中。文本表示如果我们想用神经网络解决自然语言处理（NLP）任务，我们需要某种方式将文本表示为张量。计算机已经通过编码如ASCII或UTF-8将文本字符映射为屏幕上的字体来表示文本字符。图像来源作为人类，我们理解每个字母代表什么，以及所有字符如何组合成句子中的单词。然而，计算机本身并没有这种理解能力，神经网络必须在训练过程中学习其含义。