Spark環境下并行立方體計算方法
大小:0.75 MB 人氣: 2017-12-23 需要積分:2
針對傳統聯機分析處理( OLAP)處理大數據時實時響應能力差的問題,研究基于分布式內存計算框架Spark加速的數據立方體計算方法,設計基于Spark內存集群的自底向上構造(BUC)算法-BUCPark,來提高BUC的并行度和大數據適應能力。在此基礎上,為避免內存中迭代的立方體單元膨脹,基于內存重復利用和共享的思想設計改進的BUCPark算法-LBUCPark。實驗結果表明:LBUCPark算法性能優于BUC算法和BUCPark算法,能夠勝任大數據背景下的快速數據立方體計算任務。
非常好我支持^.^
(0) 0%
不好我反對
(0) 0%