在美國硅谷圣何塞召開的 NVIDIA GTC 大會上，全球領先的向量數據庫公司 Zilliz 發布了 Milvus 2.4 版本。這是一款革命性的向量數據庫系統，在業界首屈一指，它首次采用了英偉達 GPU 的高效并行處理能力和 RAPIDS cuVS 庫中新推出的 CAGRA（ CUDA-Accelerated Graph Index for Vector Retrieval ）技術，提供基于GPU的向量索引和搜索加速能力，性能可提升 50 倍。

Milvus 2.4 的 GPU 加速性能提升效果令人驚嘆。基準測試顯示，與目前市面上最先進的基于 CPU 處理器的索引技術相比，新版 GPU 加速 Milvus 能提供高達 50 倍的向量搜索性能提升。目前，Milvus 2.4的開源版本已經對外發布。

對于希望使用全托管云數據庫服務的企業用戶來說，還有一個好消息，那就是 Zilliz 提供的 Milvus 商業版全托管云服務 Zilliz Cloud 計劃將在今年晚些時候升級推出 GPU 加速功能。

▲Zilliz Cloud

截至當前，Zilliz Cloud 已經實現包括阿里云、騰訊云、AWS、谷歌云和微軟云在內的全球 5 大云 13 個節點的全覆蓋，除了分布在杭州、北京、深圳的 5 個國內服務區，其他 8 個節點分布在海外，包括美國的弗吉尼亞州、俄勒岡州、德國的法蘭克福、新加坡等城市和地區。Zilliz 已成為首家同時提供海內外多云服務的向量數據庫企業。

Milvus是什么？

Milvus 是一款為大規模向量相似度搜索和 AI 應用開發設計的開源向量數據庫系統。它最初由 Zilliz 公司發起開發，并在 2019 年開源。2020年，該項目加入 Linux 基金會并成功畢業。

自推出以來，Milvus 在 AI 開發者社區中大受歡迎并被廣泛采用。在GitHub上，Milvus 擁有超過26,000個星標和 260 多位貢獻者，全球下載和安裝量超過 2000 萬次，已經成為全球使用最廣泛的向量數據庫之一。Milvus 已經被 5,000 多家企業所采用，服務于AIGC、電子商務、媒體、金融、電信和醫療等多個行業。

▲部分 Milvus 企業用戶列表 來源：Milvus官網

為什么需要GPU加速？

在數據驅動的時代背景下，快速準確地檢索大量非結構化數據對于支持前沿AI應用至關重要。無論是生成式AI、相似性搜索，還是推薦引擎、虛擬藥物發現，向量數據庫都已成為這些高級應用的核心技術。然而，對于實時索引和高吞吐量的需求不斷挑戰著基于CPU的傳統解決方案。

實時索引

向量數據庫通常需要持續且高速地攝取和索引新的向量數據。實時索引的能力對于保持數據庫與最新數據的同步至關重要，避免產生瓶頸或積壓。

高吞吐量

許多使用向量數據庫的應用程序，例如推薦系統、語義搜索引擎和異常檢測等，都需要實時或近實時的查詢處理。高吞吐量確保向量數據庫能夠同時處理大量涌入的查詢，為最終用戶提供高性能的服務。

向量數據庫的核心運算包括相似度計算和矩陣運算，這些運算具有并行性高和計算密集等特點。GPU 憑借其成千上萬的運算核心和強大的并行處理能力，成為了加速這些運算的理想選擇。

Milvus 2.4技術架構

為了應對這些挑戰，英偉達開發了CAGRA。這是一個利用GPU的高性能能力為向量數據庫工作負載提供高吞吐量的GPU加速框架。接下來，我們來看看 CAGRA 是如何與 Milvus 系統整合的。

Milvus 專為云原生環境設計，采用模塊化設計理念，將系統分為多個組件，分別處理客戶端請求、數據處理以及向量數據的存儲和檢索。得益于這種模塊化設計，Milvus 可以輕松地更新或升級特定模塊，而無需改變模塊間的接口，使得在 Milvus 中集成 GPU 加速變得簡單可行。

▲Milvus 2.4 架構圖

Milvus 2.4 的架構包括協調器、訪問層、消息隊列、工作節點和存儲層等組件。工作節點進一步細分為數據節點、查詢節點和索引節點。其中，索引節點負責構建索引，查詢節點負責執行查詢。

為了充分利用GPU的加速能力，CAGRA 被集成到了 Milvus 的索引節點和查詢節點中。這種集成使得計算密集型任務，如索引構建和查詢處理，能夠被轉移到 GPU 上執行，從而利用其并行處理能力。

在 Milvus 的索引節點中，CAGRA 被集成到了索引構建算法中，利用 GPU 硬件來高效地構建和管理高維向量索引，顯著減少了索引大規模向量數據集所需的時間和資源。

同樣，在 Milvus 的查詢節點中，CAGRA 被用于加速執行復雜的向量相似度查詢。借助GPU的處理能力，Milvus 能夠以前所未有的速度執行高維距離計算和相似性搜索，從而加快查詢響應時間并提升整體吞吐量。

性能評測結果

在性能評估過程中，我們使用了 AWS 上的三種公開實例類型：

m6id.2xlarge：搭載Intel Xeon 8375C 處理器的 CPU 實例

g4dn.2xlarge：配備NVIDIA T4 處理的GPU加速實例

g5.2xlarge：配備NVIDIA A10G 處理器的GPU加速實例

我們通過這些不同的實例類型來評估 Milvus 2.4 在不同硬件配置下的性能和效率，其中m6id.2xlarge 作為基于 CPU 處理器的性能基準，而 g4dn.2xlarge 和 g5.2xlarge 則用來評估GPU 加速的優勢。

▲基于 AWS 的評測環境

在評測中，我們選用了 VectorDBBench([4]) 的兩個公開向量數據集，評估 Milvus 在不同數據量和向量維度下的性能和可擴展性：

OpenAI-500K-1536-dim：包含50萬個1,536維的向量，由 OpenAI 語言模型生成

Cohere-1M-768-dim：包含100萬個768維的向量，由Cohere語言模型生成

索引構建時間

在索引構建時間的評測中，我們發現對于 Cohere-1M-768-dim 數據集，使用 CPU（ HNSW ）的索引構建時間為 454 秒，而使用 T4 GPU（ CAGRA ）僅為66秒，A10G GPU（ CAGRA ）更是縮短到了 42 秒。對于 OpenAI-500K-1536-dim 數據集，CPU（ HNSW ）的索引構建時間為359秒，T4 GPU（ CAGRA ）為45秒，A10G GPU（CAGRA）則為22 秒。

▲評測索引構建時間

這些結果清楚地表明，GPU 加速框架 CAGRA 在索引構建方面明顯優于基于 CPU 的 HNSW，其中 A10G GPU 在兩個數據集上都是最快的。與 CPU 實現相比，CAGRA 提供的 GPU 加速將索引構建時間縮短了一個數量級，展示了利用 GPU 并行性進行計算密集型向量運算的優勢。

吞吐量

在吞吐量方面，我們比較了集成 CAGRA GPU 加速的 Milvus 與使用 CPU 上 HNSW 索引的標準 Milvus 實現。評估指標是每秒查詢數（ QPS ），用于衡量查詢執行的吞吐量。在向量數據庫的不同應用場景中，查詢的批量大小（ 單條查詢處理的查詢數量 ）往往不同。在測試過程中，我們采用了1、10 和 100 這三種不同的批量大小，獲取真實而全面的評測結果數據。

▲評測吞吐量

從評估結果來看，對于批量大小為 1 的情況，T4 GPU 比 CPU 快 6.4 到 6.7 倍，A10G GPU 則快 8.3 到 9 倍。當批量大小增加到 10 時，性能提升更加顯著：T4 GPU 快 16.8 到18.7倍，A10G GPU 快25.8 到 29.9 倍。當批量大小為 100 時，性能提升持續增長：T4 GPU 快 21.9 到 23.3 倍，A10G GPU 快 48.9 到 49.2 倍。

這些結果表明，利用 GPU 加速向量數據庫查詢可以獲得巨大的性能提升，尤其是對于更大的批量大小和更高維度的數據。集成 CAGRA 的 Milvus 釋放了 GPU 的并行處理能力，實現了顯著的吞吐量改進，非常適合要求極致性能的關鍵場景下的向量數據庫工作負載。

開啟新紀元

將英偉達 CAGRA GPU 加速框架集成到 Milvus 2.4 中，標志著向量數據庫領域的一項重大突破。通過利用 GPU 的大規模并行計算能力，Milvus 在向量索引和搜索操作方面實現了前所未有的性能水平，開啟了實時、高吞吐量向量數據處理的新時代。

5年前， Zilliz 的工程師們在上海漕河涇的廠房里敲下了向量數據庫歷史上的全球第一行代碼，開啟了研發面向非結構化數據管理的新一代數據庫的探險。

今天，Zilliz 和英偉達合作推出 Milvus 2.4，展現了開放創新和社區驅動發展的力量，為向量數據庫帶來了 GPU 加速的新紀元。這一里程碑事件預示著又一個技術變革的來臨，向量數據庫有望經歷類似于英偉達在過去 8 年中將 GPU 算力提高 1000 倍的指數級性能飛躍。

在未來十年，我們將見證向量數據庫性能的 1000 倍飛躍。這將引發一場數據處理方式的范式轉變，重新定義我們處理和利用非結構化數據的能力。

Zilliz最新動態

除了發布業界超前的 Milvus 2.4，Zilliz 近期還有不少新動作：

Zilliz 正式開啟 AI 初創計劃！Zilliz AI 初創計劃是面向 AI 初創企業推出的一項扶持計劃，預計提供總計 1000 萬元的 Zilliz Cloud 抵扣金，致力于幫助 AI 開發者構建高效的非結構化數據管理系統，助力打造高質量 AI 服務與運用，加速產業落地。Zilliz 將為全球的 AI 初創團隊提供資源、技術、市場推廣、銷售等全方位的支持，符合要求的團隊可獲得獨家資源與支持。歡迎各位開發者登陸 Zilliz 中文官網首頁了解 Zilliz AI 初創計劃，與 Zilliz 一起共建 AI 生態！

Zilliz Cloud 正式登錄騰訊云，覆蓋北京、上海兩區，進一步為海內外用戶提供更豐富的多云支持的向量數據庫服務。截至目前，Zilliz Cloud 已實現全球 5 大云 13 個節點的全覆蓋，除了在中國的杭州、北京、深圳五大服務區，其他 8 個節點分布在海外，包括美國的弗吉尼亞州、俄勒岡州、德國的法蘭克福、新加坡等城市和地區。至此，Zilliz 已成為全球首個提供海內外多云服務的向量數據庫企業。

Zilliz 發布 「Milvus 北極星計劃」，旨在匯集和團結 Milvus 社區的熱心用戶及開發者，組成社區大使團隊。根據不同角色擅長的能力（Coding、寫作、溝通、布道、活動組織等），在社區中分配職責，共同建設運營 Milvus 社區，為社區發展壯大探索方向、添磚加瓦。最終將 Milvus 社區打造為一個充滿活力、創新開放、團結互助的全球化社區。關注 Zilliz 微信公眾號，回復“北極星”可了解詳情。

審核編輯 黃宇