采用资源划分的云环境下Hadoop资源许可调度方法

编号 zgly0000980029

文献类型 期刊论文

文献题名 采用资源划分的云环境下Hadoop资源许可调度方法

作者 周墨颂  朱正东  董小社  陈衡  王寅峰 

作者单位 西安交通大学电子与信息工程学院  深圳信息职业技术学院软件学院 

母体文献 西安交通大学学报 

年卷期 2015(8)

页码 69-74+108

年份 2015 

关键词 云计算  Hadoop  资源划分  作业调度  混合负载 

文摘内容 针对云计算环境中Hadoop平台由于节点计算能力差异、多样混合负载共存等原因而出现的性能不佳的问题,提出一种采用资源划分的资源许可方法。该方法在云计算环境下通过减少资源浪费或负载过重等情况的出现来提高系统性能。该方法采集资源信息并推测任务资源需求,根据可用计算资源和任务需求动态划分、调度资源;使用与资源无耦合的资源许可启动任务并控制任务数量调节资源利用率以适应云环境。使用该方法对比公平调度器在国家高性能计算中心(西安)进行测试发现:单作业在资源竞争环境中优于公平调度器的静态结果;混合负载在3种测试环境中完成时间分别平均减少了27.5%、37.1%和50.98%,性能显著提升。