Spark漸進填充分區(qū)映射算法
大小：1.17 MB 人氣： 2018-01-14 需要積分：3
標簽：SPARK(19784)
分析Spark的作業(yè)執(zhí)行機制，建立了執(zhí)行效率模型和Shuffle過程模型，給出了分配適應度（AFD，allocation fitness degree）的定義，提出了算法的優(yōu)化目標。根據(jù)模型的相關定義求解，設計了漸進填充分區(qū)映射算法（PFPM，progressive filling partitioning and mapping algorithm），通過擴展式分區(qū)和漸進填充映射，建立適應Reducer計算能力的數(shù)據(jù)分配方案，有效縮減Shuffle過程的同步延時，提高集群計算效率。實驗表明該算法提高了Shuffle過程數(shù)據(jù)分配的合理性，優(yōu)化了并行計算框架Spark的作業(yè)執(zhí)行效率。
非常好我支持^.^
(0) 0%
不好我反對
(0) 0%
下載地址
Spark漸進填充分區(qū)映射算法下載
相關電子資料下載
- 天數(shù)智芯主導的DeepSpark開源社區(qū)發(fā)布百大應用開放平臺24.06版本 436
- spark運行的基本流程 92
- Spark基于DPU的Native引擎算子卸載方案 180
- 百度前高管景鯤與朱凱華創(chuàng)立AI搜索公司，Genspark產(chǎn)品驚艷上線 458
- 關于Spark的從0實現(xiàn)30s內實時監(jiān)控指標計算 111
- “Spark+Hive”在DPU環(huán)境下的性能測評 | OLAP數(shù)據(jù)庫引擎選型白皮書（24版）DPU部分 212
- 芯科科技和Arduino合作創(chuàng)建SparkFun Thing Plus Matter板 234
- Sparkle撼與科技發(fā)布TBX-750FA-V2顯卡塢，支持3.5槽厚顯 243
- 如何注冊星閃Sparklink設備媒體接入層標識、地址碼? 246
- 如何利用DPU加速Spark大數(shù)據(jù)處理？ | 總結篇 661