Spark環(huán)境結(jié)合MDBF的星型連接算法
大小：0.75 MB 人氣： 2017-12-23 需要積分：1
推薦 + 挑錯(cuò) + 收藏(0) + 用戶(hù)評(píng)論（0）
標(biāo)簽：SPARK(19784)MDBF(2381)
為了適應(yīng)聯(lián)機(jī)分析處理（ OLAP）系統(tǒng)中實(shí)時(shí)數(shù)據(jù)高性能分析需求不斷提高的需求，提出一種能夠適合Spark環(huán)境并結(jié)合多維Bloom Filter（ MDBF）的星型連接算法SMDBFSJ。首先，根據(jù)多個(gè)維表構(gòu)建MDBF，利用其占用空間小的特點(diǎn)，廣播到所有節(jié)點(diǎn)；然后，在本地節(jié)點(diǎn)完成事實(shí)表過(guò)濾操作，事實(shí)表不需要在節(jié)點(diǎn)間移動(dòng)數(shù)據(jù)；最后，過(guò)濾后的事實(shí)表與維表采用重劃分方式進(jìn)行連接，進(jìn)而得到最終結(jié)果。SMDBFSJ算法避免了事實(shí)表數(shù)據(jù)移動(dòng)，通過(guò)MDBF減小了需要廣播的數(shù)據(jù)量，充分結(jié)合了廣播連接和重劃分連接的優(yōu)勢(shì)。實(shí)驗(yàn)結(jié)果表明了該算法的有效性，在單機(jī)和集群環(huán)境下，該算法相比重劃分連接均獲得了3倍左右的性能提升。
非常好我支持^.^
(0) 0%
不好我反對(duì)
(0) 0%
下載地址
Spark環(huán)境結(jié)合MDBF的星型連接算法下載
相關(guān)電子資料下載
- 天數(shù)智芯主導(dǎo)的DeepSpark開(kāi)源社區(qū)發(fā)布百大應(yīng)用開(kāi)放平臺(tái)24.06版本 436
- spark運(yùn)行的基本流程 91
- Spark基于DPU的Native引擎算子卸載方案 180
- 百度前高管景鯤與朱凱華創(chuàng)立AI搜索公司，Genspark產(chǎn)品驚艷上線(xiàn) 458
- 關(guān)于Spark的從0實(shí)現(xiàn)30s內(nèi)實(shí)時(shí)監(jiān)控指標(biāo)計(jì)算 111
- “Spark+Hive”在DPU環(huán)境下的性能測(cè)評(píng) | OLAP數(shù)據(jù)庫(kù)引擎選型白皮書(shū)（24版）DPU部分 212
- 芯科科技和Arduino合作創(chuàng)建SparkFun Thing Plus Matter板 234
- Sparkle撼與科技發(fā)布TBX-750FA-V2顯卡塢，支持3.5槽厚顯 243
- 如何注冊(cè)星閃Sparklink設(shè)備媒體接入層標(biāo)識(shí)、地址碼? 246
- 如何利用DPU加速Spark大數(shù)據(jù)處理？ | 總結(jié)篇 661