2.2.2分词方法介绍

文档摘要

comments: true title: 分词器 tokenizers 加载分词器方法用于加载预训练的分词器。以下是该方法常用的参数及其介绍。参数名称 | 功能 | 所要加载的分词器，其值为预训练模型名称或模型在本地的路径。 | 是否使用基于的快速分词器。如果设置为且模型支持快速分词器，则将优先使用快速分词器。否则，将使用基于的标准分词器。 | 是否允许执行远程代码。默认情况下，为了安全起见，默认是关闭的。如果开发者完全信任代码来源，可以启用它以获得额外的功能，但请谨慎操作，因为这会增加安全风险。经过上述代码，会产生一个与所预训练模型相对应的分词器实例。 !!! note "备注" 如果加载的是模型，那么代码会返回一个实例。