大模型复读机问题

文档摘要

什么是大模型复读机问题人类的本质是复读机 LLMs复读机问题是指这些模型在生成文本时倾向于重复之前说过的内容或者重复某些常见的表达方式，而不是产生新颖或多样化的输出，这种现象在微调开源大模型时尤为常见。 alt text 具体表现重复单词或短语：模型可能会在生成的文本中重复使用相同的单词或短语，尤其是在没有足够上下文的情况下；重复主题或观点：在讨论某个话题时，模型可能会重复已经表达过的观点，而不是提供新的见解或信息；模仿风格：模型可能会模仿训练数据中的风格或语调，而不是根据当前的上下文创造新的风格；缺乏创新：由于模型的训练目标通常是预测下一个最可能的单词或短语，它们可能更倾向于生成安全、常见的文本，而不是创新或独特的内容.