基于DPU云盤掛載的Spark優(yōu)化解決方案

1.? 方案背景和挑戰(zhàn) Apache Spark，作為當(dāng)今大數(shù)據(jù)處理領(lǐng)域的佼佼者，憑借其高效的分布式計(jì)算能力、內(nèi)存計(jì)算優(yōu)化以及強(qiáng)大的生態(tài)系統(tǒng)支持，已牢固...

2024-08-14 標(biāo)簽：云計(jì)算DPUSPARK 1187 0

“Spark+Hive”在DPU環(huán)境下的性能測(cè)評(píng) | OLAP數(shù)據(jù)庫引擎選型白皮書（24版）DPU部分節(jié)選

在奇點(diǎn)云2024年版《OLAP數(shù)據(jù)庫引擎選型白皮書》中，中科馭數(shù)聯(lián)合奇點(diǎn)云針對(duì)Spark+Hive這類大數(shù)據(jù)計(jì)算場(chǎng)景下的主力引擎，測(cè)評(píng)DPU環(huán)境下對(duì)比C...

2024-05-30 標(biāo)簽：數(shù)據(jù)庫DPUOLAP 573 0

如何利用DPU加速Spark大數(shù)據(jù)處理？ | 總結(jié)篇

一、總體介紹 1.1 背景介紹 近年來，隨著存儲(chǔ)硬件的革新與網(wǎng)絡(luò)技術(shù)的突飛猛進(jìn)，如NVMe SSD和超高速網(wǎng)絡(luò)接口的普及應(yīng)用，I/O性能瓶頸已得到顯著改...

2024-04-02 標(biāo)簽：cpu網(wǎng)絡(luò)接口DPU 1108 0

RDMA技術(shù)在Apache Spark中的應(yīng)用

背景介紹 在當(dāng)今數(shù)據(jù)驅(qū)動(dòng)的時(shí)代，Apache?Spark已經(jīng)成為了處理大規(guī)模數(shù)據(jù)集的首選框架。作為一個(gè)開源的分布式計(jì)算系統(tǒng)，Spark因其高效的大數(shù)據(jù)處...

2024-03-25 標(biāo)簽：數(shù)據(jù)集RDMASPARK 1584 0

基于DPU和HADOS-RACE加速Spark 3.x

背景簡介 Apache Spark（下文簡稱Spark）是一種開源集群計(jì)算引擎，支持批/流計(jì)算、SQL分析、機(jī)器學(xué)習(xí)、圖計(jì)算等計(jì)算范式，以其強(qiáng)大的容錯(cuò)能...

2024-03-25 標(biāo)簽：DPUSPARKRACE 1415 0

Blaze: 用Rust重寫Spark執(zhí)行層，平均提升30%算力

隨著機(jī)器硬件的發(fā)展，RAM的價(jià)格也大幅降低，這時(shí)Spark提出了彈性分布式數(shù)據(jù)集（RDD），這是一種分布式內(nèi)存抽象，可以讓程序員以容錯(cuò)的方式在大型集群上...

2023-11-22 標(biāo)簽：磁盤SPARKRust 1158 0

Docker入門指南之Docker使用場(chǎng)景介紹

在大數(shù)據(jù)平臺(tái)型產(chǎn)品的開發(fā)過程中，經(jīng)常要跟許多模塊打交道，包括Hadoop、Hive、Spark、Zookeeper……等多達(dá)幾十個(gè)開源組件，為了不影響團(tuán)...

2023-02-06 標(biāo)簽：大數(shù)據(jù)SPARKDocker 727 0

Spark的兩種核心Shuffle詳解

　Spark 之所以一開始就提供基于 Hash 的 Shuffle 實(shí)現(xiàn)機(jī)制，其主要目的之一就是為了避免不需要的排序，大家想下 Hadoop 中的 Ma...

2022-08-11 標(biāo)簽：二進(jìn)制磁盤SPARK 2404 0

關(guān)于Spark on Kubernetes實(shí)現(xiàn)方案

存儲(chǔ)與計(jì)算分離架構(gòu)，這是公認(rèn)的未來大方向，存算分離提供了獨(dú)立的擴(kuò)展性，客戶可以做到數(shù)據(jù)入湖，計(jì)算引擎按需擴(kuò)容，這樣的解耦方式會(huì)得到更高的性價(jià)比。

2020-10-12 標(biāo)簽：阿里云SPARK云原生 2811 0

來看看Spark和Flink各自的優(yōu)劣和主要區(qū)別

Flink是統(tǒng)一的流和批處理框架，基本數(shù)據(jù)模型是數(shù)據(jù)流，以及事件(Event)的序列，F(xiàn)link從設(shè)計(jì)之初秉持了一個(gè)觀點(diǎn):批是流的特例。每一條數(shù)據(jù)都可以...

2019-03-15 標(biāo)簽：gpu數(shù)據(jù)集SPARK 3.1萬 0

工業(yè)大數(shù)據(jù)挖掘的利器——Spark MLlib

格物匯之前刊發(fā)的《工業(yè)大數(shù)據(jù)處理領(lǐng)域的網(wǎng)紅Apache Spark》中提到，在中國制造2025的技術(shù)路線圖中，工業(yè)大數(shù)據(jù)是作為重要突破點(diǎn)來規(guī)劃的，而在未...

2019-01-10 標(biāo)簽：智能制造工業(yè)互聯(lián)網(wǎng)SPARK 4956 0

一文讀懂 Spark 內(nèi)存管理

作為一個(gè) JVM 進(jìn)程，Executor 的內(nèi)存管理建立在 JVM 的內(nèi)存管理之上，Spark 對(duì) JVM 的堆內(nèi)(On-heap)空間進(jìn)行了更為詳細(xì)的...

2018-06-04 標(biāo)簽：javarddspark 977 0