唐明,朱磊,邹显春.基于Word2Vec的一种文档向量表示[J].计算机科学,2016,43(6):214-217, 269
基于Word2Vec的一种文档向量表示
Document Vector Representation Based on Word2Vec
投稿时间:2016-01-19  修订日期:2016-04-20
DOI:10.11896/j.issn.1002-137X.2016.06.043
中文关键词:  TF-IDF,word2vec,doc2vec,文本分类
英文关键词:TF-IDF,Word2vec,Doc2vec,Text classification
基金项目:
作者单位
唐明 西南大学计算机与信息科学学院 重庆400715 
朱磊 西南大学计算机与信息科学学院 重庆400715 
邹显春 西南大学计算机与信息科学学院 重庆400715 
摘要点击次数: 3529
全文下载次数: 7320
中文摘要:
      在文本分类中,如何运用word2vec词向量高效地表达一篇文档一直是一个难点。目前,将word2vec模型与聚类算法结合形成的doc2vec模型能有效地表达文档信息。但是,这种方法很少考虑单个词对整篇文档的影响力。为了解决这个问题,利用TF-IDF算法计算每篇文档中词的权重,并结合word2vec词向量生成文档向量,最后将其应用于中文文档分类。在搜狗中文语料库上的实验验证了新方法的有效性。
英文摘要:
      In text classification issues,it is difficult to express a document efficiently by the word vector of word2vec.At present,doc2vec built on the combination of word2vec and clustering algorithm can express the information of document very well.However,this method rarely considers a single word’s influence for the entire document.To solve this pro-blem,in this paper, TF-IDF algorithm was used to calculate the right weight of words in documents,and word2vec was combined to generate document vectors,which were used for Chinese text classification.Experiments on the Sogou Chinese corpus laboratory demonstrate the efficiency of this newly proposed algorithm.
查看全文  查看/发表评论  下载PDF阅读器