王振振,何明,杜永萍.基于LDA主题模型的文本相似度计算[J].计算机科学,2013,40(12):229-232
基于LDA主题模型的文本相似度计算
Text Similarity Computing Based on Topic Model LDA
投稿时间:2013-02-27  修订日期:2013-06-26
DOI:
中文关键词:  主题模型,LDA,文本相似度,Gibbs抽样
英文关键词:Topic model,Latent Dirichlet Allocation(LDA),Text similarity,Gibbs sampling
基金项目:本文受国家自然科学基金(60803086),北京市自然科学基金(4123091),北京市教委科研计划(KM20110005013, KM200910005009)资助
作者单位
王振振 北京工业大学计算机学院 北京100124 
何明 北京工业大学计算机学院 北京100124 
杜永萍 北京工业大学计算机学院 北京100124 
摘要点击次数: 6645
全文下载次数: 2171
中文摘要:
      LDA(Latent Dirichlet Allocation)模型是近年来提出的一种具有文本表示能力的非监督学习模型。提出了一种基于LDA主题模型的文本相似度计算方法,该方法利用LDA为语料库建模,利用MCMC中的Gibbs抽样进行推理,间接计算模型参数,挖掘隐藏在文本内的不同主题与词之间的关系,得到文本的主题分布,并以此分布来计算文本之间的相似度,最后对文本相似度矩阵进行聚类实验来评估聚类效果。实验结果表明,该方法能够明显提高文本相似度计算的准确率和文本聚类效果。
英文摘要:
      Latent Dirichlet Allocation (LDA) is an unsupervised model which exhibits superiority on latent topic mode-ling of text data in the research of recent years.This paper presented a method which improves text similarity calculation by using LDA model.This method models corpus and text with LDA.Parameters are estimated with Gibbs sampling of MCMC and the word probability is represented.It can mine the hidden relationship between the different topics and the words from texts,get the topic distribution,and compute the similarity between the text.Finally,the text similarity matrix clustering experiments are carrieel out to assess the effect of clustering.Experimental results show that the method can improve the text similarity accurate rate and clustering quality effectively.
查看全文  查看/发表评论  下载PDF阅读器