色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

分布式融合存儲解決方案驅動非結構化數據多模計算

浪潮存儲 ? 來源:未知 ? 2023-10-30 19:45 ? 次閱讀

隨著5G、AI、大數據等新一代信息技術在千行百業中深度應用,非結構化數據呈來源多樣化、維度豐富化、數據量爆炸式增長的特征,數據體量從早期的TB級、PB級過渡到現今的EB級。據IDC預測,2025年全球新增數據可達175ZB,其中80%為非結構化數據,大量數據以多模態形式呈現。

非結構化數據多模計算的應用場景

非結構化數據多模計算涵蓋海洋觀測、自動駕駛、石油勘探、天文觀測、生命科學、AIGC、六大應用場景。

海洋觀測預報系統。海洋多模態數據具有超巨系統屬性,根據當前關于海洋數據量的研究,2030年全球海洋數據總量將達到275PB。NETCDF(Network Common Data Form)是海洋多模態數據最常用的存儲格式,海洋遙感圖像和時空序列數值是其數據主體。海洋物聯網的快速機動組網觀測系統是海洋科學研究的基礎,由信息感知層、信息傳輸層、信息處理層及信息應用層組成。目前海洋觀測手段正由固定平臺觀測向固定與移動平臺協同觀測方向發展;海洋信息傳輸系統主要以岸基移動通信、海上無線通信、衛星通信和水聲通信等網絡體系實現對全球覆蓋;信息處理層是指開發快速機動組網觀測系統軟件,基于海洋觀測裝備及傳輸鏈路,研究多平臺、多要素海洋環境及目標實時數據采集技術;信息應用層是指生成數據分析產品,提供信息分發與共享服務,并與國家海洋環境安全保障平臺對接。

自動駕駛感知系統。自動駕駛驅動的核心是高質量的標注數據,并基于海量的數據來優化訓推模型。據統計每輛測試車每天產生約25TB數據,一個中等規模的車隊每年產生幾十甚至上百PB的數據。自駕車輛終端采集的數據類型包括LiDAR數據(bin格式)、RGB圖像(jpeg格式)、標簽數據(txt格式)與CALIB校正數據(txt格式)。自駕的全生命周期過程包括數據采集、數據存儲、數據預處理、數據標注、模型訓練、仿真測試與部署發布,上述環節中所使用的工具和平臺,被稱作“工具鏈”。以數據處理為例,單數據類型就多種多樣,包括攝像頭數據、毫米波雷達數據、激光雷達點云數據,需要先對這些數據進行去噪,也就是所謂的“數據清洗”。數據處理完成后,下一步便開始數據標注。標注的類型大致可分為2D、3D目標物標注、聯合標注、車道線標注和語義分割等,還要涉及到具體標注規范和標注質檢流程,整個流程異常繁瑣。而這復雜流程的每一個環節,都需要與之對應的工具和存儲的支撐。

勘探開發一體化系統。石油勘探開發包含地震、鉆測井、油氣水井等與生產開發相關的多種數據類型。目前陸上高精度三維地震數據體規??蛇_幾十TB,海上原始地震數據體可以達到上百TB。地震數據是地震勘探中體量最大的數據類型,SEG(Society of Exploration Geophysicists)是地震多模態數據最常用的存儲格式,野外采集地震數據為64位SEG-D格式,室內地震處理在數據交換基本都采用32位SEG-Y格式。鉆測井中核磁共振與成像測井數據的體量最大,對測井數據存儲速度、可靠性、安全性與精確性的要求較高。油氣井等開發數據以現場大量的實時傳感數據為基礎的,處理時限要求高,各類傳感終端產生實時、連續的事件流,數據流處理系統必須快速對其進行響應并及時輸出結果。

非結構化數據多模計算融合存儲解決方案

不同應用場景的非結構化多模計算涉及計算、感知、調查、文獻與結果等多種數據類型。計算數據包括科研平臺、功能實驗室等產生的數據;感知數據涉及大數據物聯網前端傳感器、視頻與雷達等實時采集的數據;調查數據指統一的調查報告平臺,如科研數據、任務報告、數據報告等匯總的過程數據;文獻數據是通過網絡、爬蟲、期刊、會議、輿情等途徑收集到的相關新聞、論文、報告等數據;結果數據涵蓋云平臺、容器平臺、大數據平臺、GPU渲染節點和AI計算節點在離線渲染和計算產生的結果數據?;诜墙Y構多模計算的應用場景,浪潮信息發布新一代分布式存儲產品與端到端一體化的解決方案,幫助客戶存好、用好、管好核心數據資產。

新一代分布式存儲產品

AS13000G7/AS15000G7

AS13000G7面向多模數據融合應用場景,提供多源數據零拷貝技術,實現文件、對象、大數據、視頻四種協議融合互通,承載非結構化多模計算的實際應用,減少數據拷貝過程中的性能開銷。有效解決非結構化數據多模計算應用場景下,各協議數據無法互相訪問、高效融合共享的問題,消除存儲信息孤島。

AS15000G7則是面向高性能應用場景,是一種專門為集群環境設計的高性能、可擴展的、具有全局統一命名空間的并行文件系統??梢栽谌杭械亩鄠€節點間實現對共享文件系統中文件的快速存取操作,并提供穩定的故障恢復和容錯機制,存儲軟件功能包括生命周期管理、GDS、文件雙活、數據壓縮與隔離、遠程異步復制等。

wKgaomU_mHuAAYFIAAQIqFKG6-0384.png

端到端一體化存儲解決方案

一套集群配置高速SSD與大容量HDD等多個存儲池,依據業務需求靈活調整,更好地對接現有和未來可能部署的云平臺、容器、大數據、物聯網(IOT)等各種應用。同時,整個集群也可以將多種存儲池進行統一管理,部署成一個存儲集群,這樣既能更好地滿足業務需求,也能保護投資,避免資源閑置?;跇藴蕝f議,分布式存儲集群無縫對接云平臺應用,并為計算資源提供塊、文件、對象、大數據、視頻等多樣化的數據服務,靈活承載私有云、公有云和混合云平臺。存儲容量和性能實現彈性擴展,安全隔離租戶底層的數據資源,數據可靠性為99.9999%,實現存儲資源的統一管理和調度。

應用“存算分離”大數據集群架構,數據存放在專業的存儲節點,便于客戶分級分類管理。分布式存儲通過原生HDFS協議對接大數據平臺,提高數據訪問效率,簡化運維管理。存儲集群基于CSI接口對接容器平臺,承載非結構化多模計算場景中的敏態業務,為Kubernetes集群中的應用自動地提供持久化存儲服務,同時也便于其它容器平臺通過CSI接口獲取存儲信息并調配底層存儲資源。人工智能平臺作為AI軟硬件技術的融合載體,將為AI產業的發展提供大規模數據處理和高性能智能計算支撐,具有高度并行的特點。應用高性能并行存儲文件系統對接AI訓推一體化平臺,滿足模型訓練推理過程中超高帶寬、極低時延與極致IOPS需求。

面對增長迅速、多維、海量等特性的非結構化多模數據,傳統集中式文件存儲方式在數據使用率、查詢分析效率、安全維護和管理上存在不足。浪潮信息通過軟件化的模塊定義方式,提供非結構化數據多模計算場景下端到端一體化的融合存儲的解決方案,實現同一基礎架構上不同應用之間的數據業務應用融合,提升集群“存算協同”的能力,降低了用戶投資、維護和管理的成本。


聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 存儲
    +關注

    關注

    13

    文章

    4329

    瀏覽量

    85944
  • 浪潮
    +關注

    關注

    1

    文章

    463

    瀏覽量

    23894

原文標題:分布式融合存儲解決方案驅動非結構化數據多模計算

文章出處:【微信號:inspurstorage,微信公眾號:浪潮存儲】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    IBM Storage -?支持AI應用場景的數據存儲軟硬件解決方案

    為了解決數據和工作負載在各地分散的現狀,需要實現對存儲分布式文件和對象存儲系統中的大量結構化
    的頭像 發表于 12-30 15:00 ?112次閱讀
    IBM Storage -?支持AI應用場景的<b class='flag-5'>數據</b><b class='flag-5'>存儲</b>軟硬件<b class='flag-5'>解決方案</b>

    HarmonyOS Next 應用元服務開發-分布式數據對象遷移數據權限與基礎數據

    數據對象持久,確保源端退出后對端依然可以獲取到數據。 將生成的sessionId通過want傳遞到對端,供對端激活同步使用。 說明,分布式數據
    發表于 12-24 09:40

    分布式光纖測溫解決方案

    分布式光纖測溫解決方案
    的頭像 發表于 11-12 01:02 ?176次閱讀
    <b class='flag-5'>分布式</b>光纖測溫<b class='flag-5'>解決方案</b>

    WDS分布式存儲系統軟件助力電信工程海量數據存儲項目

    WDS分布式存儲系統軟件助力電信工程海量數據存儲項目
    的頭像 發表于 11-11 09:59 ?209次閱讀
    WDS<b class='flag-5'>分布式</b><b class='flag-5'>存儲</b>系統軟件助力電信工程海量<b class='flag-5'>數據</b><b class='flag-5'>存儲</b>項目

    一文講清什么是分布式數據庫!

    分布式數據庫是一種先進的數據管理系統,它將傳統的數據庫技術與分布式
    的頭像 發表于 10-14 10:06 ?233次閱讀

    計算廠家使用WDS分布式存儲構建其高性能超融合一體機

    計算廠家使用WDS分布式存儲構建其高性能超融合一體機
    的頭像 發表于 09-23 09:57 ?271次閱讀
    云<b class='flag-5'>計算</b>廠家使用WDS<b class='flag-5'>分布式</b><b class='flag-5'>存儲</b>構建其高性能超<b class='flag-5'>融合</b>一體機

    基于分布式存儲系統醫療影像數據存儲解決方案

    基于分布式存儲系統醫療影像數據存儲解決方案
    的頭像 發表于 09-14 09:53 ?335次閱讀
    基于<b class='flag-5'>分布式</b><b class='flag-5'>存儲</b>系統醫療影像<b class='flag-5'>數據</b><b class='flag-5'>存儲</b><b class='flag-5'>解決方案</b>

    基于分布式對象存儲WDS的信托結構化數據整合平臺

    基于分布式對象存儲WDS的信托結構化數據整合平臺
    的頭像 發表于 08-28 09:56 ?362次閱讀
    基于<b class='flag-5'>分布式</b>對象<b class='flag-5'>存儲</b>WDS的信托<b class='flag-5'>非</b><b class='flag-5'>結構化</b><b class='flag-5'>數據</b>整合平臺

    醫療PACS影像數據的極速分布式存儲解決方案

    醫療PACS影像數據的極速分布式存儲解決方案
    的頭像 發表于 08-23 10:13 ?362次閱讀
    醫療PACS影像<b class='flag-5'>數據</b>的極速<b class='flag-5'>分布式</b>塊<b class='flag-5'>存儲</b><b class='flag-5'>解決方案</b>

    浪潮信息推出基于新一代分布式存儲平臺AS13000G7的AIGC存儲解決方案

    、新一代分布式存儲AS13000G7自身產品優勢,新方案從容應對大模型應用對存儲性能、容量以及數據管理等方面的苛刻要求。同時,浪潮信息嘗試性
    的頭像 發表于 07-01 19:00 ?1455次閱讀
    浪潮信息推出基于新一代<b class='flag-5'>分布式</b><b class='flag-5'>存儲</b>平臺AS13000G7的AIGC<b class='flag-5'>存儲</b><b class='flag-5'>解決方案</b>

    黑龍江電力高性能WDS分布式存儲系統解決方案

    黑龍江電力高性能WDS分布式存儲系統解決方案
    的頭像 發表于 07-01 09:54 ?397次閱讀
    黑龍江電力高性能WDS<b class='flag-5'>分布式</b><b class='flag-5'>存儲</b>系統<b class='flag-5'>解決方案</b>

    結構化布線的好處

    結構化布線是網絡系統中的重要組成部分,因為它為數據傳輸提供了強大、可擴展且可靠的基礎。通過遵守全球公認的標準,結構化布線可促進高速連接、簡化故障排除并確保未來的可擴展性??紤]到這些優勢,企業應優先
    的頭像 發表于 04-07 11:15 ?457次閱讀

    分布式存儲計算:大數據時代的解決方案

    分布式存儲計算技術應運而生,并迅速成為處理大數據的首選方案。本文將深入探討分布式
    的頭像 發表于 03-07 14:42 ?790次閱讀

    分布式智慧終端:挑戰與解決方案

    分布式智慧終端在應用中面臨多種挑戰,以下是其中一些關鍵的挑戰以及可能的解決方案數據一致性挑戰 :在分布式系統中,數據的一致性是一個關鍵問
    的頭像 發表于 01-24 14:50 ?459次閱讀

    分布式光伏電力監控解決方案

    分布式光伏電力監控解決方案
    的頭像 發表于 01-14 08:07 ?604次閱讀
    <b class='flag-5'>分布式</b>光伏電力監控<b class='flag-5'>解決方案</b>
    主站蜘蛛池模板: 久久亚洲AV无码精品午色夜麻豆| 国产成人国产在线观看入口 | 国产啪精品视频网免费| 日本不卡免免费观看| av天堂网2014在线| 亚洲欧美自拍清纯中文字幕| 久久99综合国产精品亚洲首页| 成人在线视频观看| 最近更新2019中文字幕免费| 免费一级特黄欧美大片久久网| 国产成人免费在线观看| 在线a视频| 欧美乱妇15p图| 国产亚洲va在线电影| 伊人久久大香线蕉影院95| 米奇在线8888在线精品视频| 精品96在线观看影院| 国产精品内射久久久久欢欢| 性生大片免费看| 欧美 国产 日产 韩国 在线| 全身无赤裸裸美女网站| 日日操夜夜摸| 久久黄色网址| 国产精品一区二区在线观看| 宝贝好紧好爽再搔一点试視頻| 亚洲精品无AMM毛片| 欧美日韩久久久精品A片 | 阿力gv资源| 亚洲色欲H网在线观看| 婷婷精品国产亚洲AV在线观看| 精品亚洲大全| 国产三级在线观看免费| 疯狂小护士| 国产成人久久精品激情| 贵妃高h荡肉呻吟np杨玉环| 国产高清在线观看| jyzzjyzzz视频国产在线观看| 99热这里只有精品视频2| a级男女性高爱潮高清试看| 成人精品视频99在线观看免费| 伊人久久大香线蕉综合色啪|