分布式环境下的文本聚类研究与实现

编号 zgly0000984015

文献类型 期刊论文

文献题名 分布式环境下的文本聚类研究与实现

作者 赵华茗 

作者单位 中国科学院文献情报中心 

母体文献 现代图书情报技术 

年卷期 2015(1)

页码 82-88

年份 2015 

关键词 分布式环境  聚类  文本聚类  Hadoop  Mahout 

文摘内容 【目的】通过开源工具,构建一种分布式环境下的文本聚类与分类应用平台。【方法】以海量文本的词收敛性为基础,通过词聚类指导文本聚类和分类。过程包括:使用开源分词器等工具进行训练集的文本预处理,结合Mahout数据挖掘平台对处理后的词集进行聚类分析,最后通过相似度算法计算测试文本与词类簇的相似度并分类。【结果】分布式环境下的基于词聚类的文本聚类分类计算方法,可有效解决海量文本的词聚类瓶颈问题。经测试,当训练文本集增加到100,迭代收敛阈值为0.01时,词聚类结果较理想。【局限】测试数据规模有限,仅限于新闻数据,基于其他领域的词聚类效果需要进一步测试、优化、调整。