8.2.2modeling_bert.py介绍

文档摘要

comments: true title: modeling 代码初始化该段代码根据配置文件：创建一个用于处理词嵌入的嵌入层。嵌入词典的大小为。词向量的维度为。填充词元为。创建位置编码层。嵌入词典的大小为。词向量的维度为。创建段落嵌入层。嵌入词典的大小为。词向量的维度为。创建层归一化层。归一化维度为。 $\epsilon$ 大小为。创建随机丢弃层。随机丢弃的概率为。获取位置编码类型，默认为绝对位置编码。设置大小为的寄存器变量。设置大小同相同，数据为的寄存器变量。 ???