现代卫生信息技术与应用
上QQ阅读APP看书,第一时间看更新

六、MapReduce技术

云计算通过采用新的编程模型MapReduce高效利用资源,MapReduce将所有针对海量异构数据的操作抽象为map和reduce。使用map函数将任务分解为适于在单个节点上执行的计算子任务,通过调度执行处理后得到一个“值/对”集,reduce函数则根据预先制订的规则对map阶段得到的“值/对”集归并,得到最终分析结果。MapReduce模型可使用户按照需求将海量异构数据分析处理操作分解为任意粒度的计算子任务,并允许在多个计算节点之间灵活调度计算和参与计算的数据,达到实现计算资源和存储资源全局最优化管理。同时MapReduce方法在将map任务和reduce任务分配到相应节点时,将考虑到数据的本地性,即一般将map/reduce置于参与数据的存放节点或附近节点执行。