云计算下Spark并行Apriori算法林业病虫害防治研究

编号 zgly0001646816

文献类型 期刊论文

文献题名 云计算下Spark并行Apriori算法林业病虫害防治研究

作者 孙广婷  李丹  周唯唯  张俊杰  牛萌  邹佳旭 

作者单位 东北林业大学信息与计算机工程学院 

母体文献 森林工程 

年卷期 2018年04期

年份 2018 

分类号 TP311.13  S763 

关键词 Apriori算法  Spark框架  林业数据  数据挖掘  关联规则 

文摘内容 林业病虫害防治一直是林业领域的头等大事,缺乏行之有效的决策处理是现阶段正待解决的问题之一。随着可获取的林业数据量急剧增加,数据处理难度逐渐加大,单台机器处理已无法满足当前需求。云计算作为新型计算机模式将极大提高林业病虫害防治水平。本文将基于Spark并行化框架的Apriori算法提出病虫害资源数据的云存储模式,设计林业病虫害处理过程,满足云计算环境下林业病虫害防治需求,用以解决病虫害与树种之间获取信息困难以及关联规则处理效率问题。设计多组实验,通过改变数据集大小与集群节点个数计算出集群处理时间,从而评估算法性能。结果表明,云计算环境下该并行化算法不仅在海量数据存储以及可扩展性上具有良好性能,还能高度提取出树种与虫害的关联规则,提升挖掘效率。将该方法运用于林业领域,具有极高的前瞻性和有效性,为林业梳理物种之间关系以及防治林业病虫害提供很好的决策支持。