基于Hadoop的空間科學(xué)大數(shù)據(jù)的區(qū)域檢索算法
推薦 + 挑錯(cuò) + 收藏(0) + 用戶評論(0)
針對空間科學(xué)大數(shù)據(jù)的快速檢索需求,提出了分布式區(qū)域檢索算法。算法主要包括四維空間科學(xué)數(shù)據(jù)的索引方法和分布式四維空間科學(xué)數(shù)據(jù)的索引架構(gòu)兩部分。在KTS存儲結(jié)構(gòu)下,通過基于立方體的Block-Grid三維網(wǎng)格剖分方法建立兩級空間索引結(jié)構(gòu),包括分布式節(jié)點(diǎn)間的全局索引和分布式節(jié)點(diǎn)內(nèi)的局部索引;在分布式系統(tǒng)架構(gòu)下,確定了索引在分布式主從節(jié)點(diǎn)的分布策略以及數(shù)據(jù)在分布式環(huán)境下的容錯(cuò)機(jī)制。基于Hadoop基礎(chǔ)架構(gòu)設(shè)計(jì)了NSSC-Hadoop系統(tǒng),通過多組試驗(yàn)數(shù)據(jù)測試算法效率,并與直接基于Hadoop無索引遍歷數(shù)據(jù)方式相比較,數(shù)據(jù)檢索效率提高了將近50倍,隨著數(shù)據(jù)量的增大,算法優(yōu)勢會更加明顯。
非常好我支持^.^
(0) 0%
不好我反對
(0) 0%
下載地址
基于Hadoop的空間科學(xué)大數(shù)據(jù)的區(qū)域檢索算法下載
相關(guān)電子資料下載
- Hadoop是什么?其核心由兩大部分組成,分別是什么? 1194
- 大數(shù)據(jù)計(jì)算框架簡介 1927
- 大數(shù)據(jù)相關(guān)介紹:Hadoop的生態(tài)系統(tǒng)構(gòu)成 1909
- Hadoop大數(shù)據(jù)存算分離方案:計(jì)算層無縫對接存儲系統(tǒng) 1011
- 開源“摩爾定律”即將打破《2022開源大數(shù)據(jù)熱力報(bào)告》云棲大會上發(fā)布 490
- 如何將Hadoop部署在低廉的硬件上 1331
- Ampere將在2022 Apache Hadoop Meetup上解讀云原生 978
- 基于Hadoop的產(chǎn)品大數(shù)據(jù)分布式存儲優(yōu)化 672
- Hadoop大數(shù)據(jù)“存算分離”,柏科數(shù)據(jù) ISCloud分布式存儲提質(zhì)增效 623
- 如何將Hadoop遷移到云平臺中? 782