潜在狄利克雷分布主题模型 LDA

LDA是一种文档主题生成模型，也称为一个三层贝叶斯概率模型，包含词、主题和文档三层结构。文档到主题服从Dirichlet分布，主题到词服从多项式分布。 LDA是一种非监督机器学习技术，可以用来识别大规模文档集（document collection）或语料库（corpus）中潜藏的主题信息。它采用了词袋（bag of words）的方法，这种方法将每一篇文档视为一个词频向量，从而将文本信息转化为了易于建模的数字信息。但是词袋方法没有考虑词与词之间的顺序，这简化了问题的复杂性，同时也为模型的改进提供了契机。每一篇文档代表了一些主题所构成的一个概率分布，而每一个主题又代表了很多单词所构成的一个概率分布。 对于语料库中的每篇文档，LDA定义了如下生成过程（generative process）： 1. 对每一篇文档，从主题分布中抽取一个主题； 2. 从上述被抽到的主题所对应的单词分布中抽取一个单词； 3. 重复上述过程直至遍历文档中的每一个单词。