语言模型

文档摘要

NLP自然语言处理语言模型机器翻译机器阅读理解自动摘要图像描述语言模型什么是语言模型语言模型的核心思想是按照特定的训练方式，从语料中提取所蕴含的语言知识，应用于词序列的预测。语言模型通常可以分为基于规则的语言模型和统计语言模型。统计语言模型处于主流地位，通过对语料库的统计学习，归纳出其中的语言知识，获得词与词之间的连接概率，并以词序列的概率为依据来判断其是否合理。为什么需要语言模型语言是人类最重要的、最有效的一种信息交流的手段，也是人类进行观点、思想及情感交流最便捷、最自然的方式之一，在信息传递中发挥着重要的作用。统计语言模型在语音识别、机器翻译、中文分词、问答系统等自然语言处理领域中取得了成功地应用，例如：“厨房里食油用完了”和“厨房里石油用完了”。