8.4torchtext简介

文档摘要

8.4 torchtext简介本节我们来介绍PyTorch官方用于自然语言处理（NLP）的工具包torchtext。自然语言处理也是深度学习的一大应用场景，近年来随着大规模预训练模型的应用，深度学习在人机对话、机器翻译等领域的取得了非常好的效果，也使得NLP相关的深度学习模型获得了越来越多的关注。由于NLP和CV在数据预处理中的不同，因此NLP的工具包torchtext和torchvision等CV相关工具包也有一些功能上的差异，如：数据集（dataset）定义方式不同数据预处理工具没有琳琅满目的model zoo 本节介绍参考了atnlp的Github，在此致谢！ 8.4.