在分布式数据存储和计算集成中,并行计算和并行数据访问是基本的优化方法,但是如何能让作业和任务高度并行,在实际应用场景中,由于分布式任务调度和数据本地性没有办法做到完美结合,性能会因此丢失。本文从分布式数据计算和存储架构角度,先分析了数据并行系统的特性,解释数据本地行对于性能的量化影响,并提出自己的对于作业和任务调度的优化策略,值得做分布式计算优化的小伙伴们参考。
内容过多 展示部分 完整资源下载
本文共 199 字,大约阅读时间需要 1 分钟。
在分布式数据存储和计算集成中,并行计算和并行数据访问是基本的优化方法,但是如何能让作业和任务高度并行,在实际应用场景中,由于分布式任务调度和数据本地性没有办法做到完美结合,性能会因此丢失。本文从分布式数据计算和存储架构角度,先分析了数据并行系统的特性,解释数据本地行对于性能的量化影响,并提出自己的对于作业和任务调度的优化策略,值得做分布式计算优化的小伙伴们参考。
内容过多 展示部分 完整资源下载
转载地址:http://cghgx.baihongyu.com/