搞懂大模型的分词器（三）

文档摘要

每天5分钟搞懂大模型的分词器tokenizer（三）：Wordpiece WordPiece 是 Google 为预训练 BERT 而开发的标记化算法。此后,它在不少基于 BERT 的 Transformer 模型中得到重用,例如 DistilBERT、MobileBERT、Funnel Transformers 和 MPNET。它在训练方面与 BPE 非常相似,但实际标记化的方式不同。 alt text WordPiece算法的名称由来可以追溯到它的核心功能——将单词（Word）分解成片段（Piece）。这个名称直观地反映了算法的基本操作。本文尝试用最直观的语言和示例来解释 wordpiece 分词器算法。