第27章 预训练语言模型
文档摘要
第27章预训练语言模型 习题27.1   设计基于双向LSTM的预训练语言模型，假设下游任务是文本分类。 解答： 解答步骤： 解答思路： 设计基于双向LSTM的预训练模型ELMo，并加载模型权重 设计基于ELMo的文本分类模型 自编程实现基于ELMo的文本分类 第1步：设计基于双向LSTM的预训练模型ELMo，并加载模型权重   ELMo是一个双向LSTM模型，它首先使用大规模文本语料库进行预训练，当用于下游任务时，其输出表示通常作为上下文相关的词向量。（论文参考链接：https://arxiv.org/abs/1802.
评论区
(0)
U