各行業(yè)的公司越來越認識到，制定數(shù)據(jù)驅(qū)動的決策是現(xiàn)在、未來 5 年、未來 20 年甚至更長時間內(nèi)競爭的必要條件。數(shù)據(jù)增長（尤其是非結(jié)構(gòu)化數(shù)據(jù)增長）達到了前所未有的水平，數(shù)據(jù)泛濫和人工智能時代已經(jīng)來臨。

這一現(xiàn)實隱含的是，人工智能可以對海量數(shù)據(jù)進行有意義的分類和處理——不僅對 Alphabet、Meta 和微軟等擁有龐大研發(fā)業(yè)務(wù)和定制人工智能工具的科技巨頭是這樣，對普通企業(yè)甚至中小型企業(yè)而言也是如此。

精心設(shè)計的基于人工智能的應(yīng)用程序可以極快地篩選極其龐大的數(shù)據(jù)集，以產(chǎn)生新的見解并最終推動新的收入來源，從而為企業(yè)創(chuàng)造真正的價值。但是，如果沒有新出現(xiàn)的新事物——向量數(shù)據(jù)庫，任何數(shù)據(jù)增長都無法真正實現(xiàn)可操作性和民主化。

隨著大語言模型的爆火，向量數(shù)據(jù)庫也成為了熱門話題。只需幾行簡單的 Python 代碼，向量數(shù)據(jù)庫就可以充當(dāng)大語言模型廉價但高效的“外部大腦”。但我們真的需要一個專門的向量數(shù)據(jù)庫嗎？向量數(shù)據(jù)庫究竟是炒作還是剛需？

近期，在北京 QCon 大會之際，InfoQ 有幸采訪到了 Redis 高級架構(gòu)師史磊，聽他聊一聊 Redis 向量數(shù)據(jù)庫技術(shù)實踐。

在 9 月 3-5 日即將召開的 QCon 北京 2023 上，Redis 高級架構(gòu)師史磊將帶來以 《搜索、探索、求索：Redis 向量數(shù)據(jù)庫》 為主題的演講分享。會前，InfoQ 對史磊老師進行了專訪，聽他聊一聊 Redis 向量數(shù)據(jù)庫技術(shù)實踐。

以下為訪談實錄，經(jīng)編輯。

InfoQ：史磊老師您好，能先做下自我介紹嗎？

史磊：我目前在 Redis 工作，擔(dān)任高級產(chǎn)品架構(gòu)師，負責(zé)管理 Redis 在亞太區(qū)的技術(shù)事務(wù)。我的主要職責(zé)是協(xié)助 Redis 客戶優(yōu)化他們的 Redis 實例，指導(dǎo)他們在使用 Redis 的新功能時能夠得到最佳體驗；以及幫助 Redis 在中國的服務(wù)商取得成功。

作為 Redis 原廠，我們維護著開源社區(qū)版，并且提供了企業(yè)版（Redis Enterprise）的軟件。在亞太區(qū)，越來越多的客戶開始了解 Redis 企業(yè)版的價值。然而，目前大多數(shù)人對 Redis 的理解還停留在開源版本或者一些經(jīng)過修改的第三方版本上，對于 Redis 的核心功能和應(yīng)用場景可能了解有限。因此，我主要的使命是幫助客戶更好地利用 Redis 提供的工具，解決實際問題，滿足業(yè)務(wù)需求。

我在去年加入 Redis，之前我在新加坡從事科研工作，后來在一家金融科技創(chuàng)業(yè)公司負責(zé)開發(fā) AI 產(chǎn)品。在那個公司，我已經(jīng)使用 Redis 大約七八年時間，但主要限于開源版。加入 Redis 原廠后，我更深入地了解了 Redis 企業(yè)版，掌握了更多強大的功能。我希望借助自己的經(jīng)驗，幫助客戶充分發(fā)揮 Redis 的潛力。

InfoQ：您是什么時候開始關(guān)注向量數(shù)據(jù)庫這個領(lǐng)域的？

史磊：在加入 Redis 之前，我主要從事 AI 和大數(shù)據(jù)方面的產(chǎn)品開發(fā)。我涉獵過特征生成、存取方式以及實時 AI 處理等領(lǐng)域，并使用了許多工具。然而，直到我加入 Redis 原廠，我才真正了解到 Redis 也在向量數(shù)據(jù)庫方向提供支持。Redis 的這種布局實際上已經(jīng)有一段時間了。

我們最初是通過一個搜索模塊來支持搜索功能，這個模塊從大約 2018 年開始就存在了。Redis 2.0 的搜索功能將其提升到了一個新的水平，使其更加容易和方便。從 Redis 2.4 開始，也就是去年 3 月份開始，我們正式支持向量搜索。在大型語言模型引起轟動之前，Redis 就已經(jīng)開始在向量數(shù)據(jù)庫領(lǐng)域布局。由于 Redis 在各行業(yè)廣泛應(yīng)用，一經(jīng)推出向量搜索功能，全球范圍內(nèi)的許多客戶就開始使用了。

隨著大型語言模型的興起，向量數(shù)據(jù)庫的應(yīng)用進入了新的階段。起初，人們可能只是用向量查詢來處理簡單的圖片、視頻、音頻或文檔等內(nèi)容，提取和搜索一些基本的向量特征。但隨著大型模型的普及，人們開始探索如何更好地使用向量數(shù)據(jù)庫，將其應(yīng)用到更高的維度、更廣泛的范圍以及更快的請求速度上。對于一個向量數(shù)據(jù)庫而言，以前大家的認識更多是小眾、性能要求不高，而現(xiàn)在這些觀念正在被快速轉(zhuǎn)變。在這個過程中，Redis 經(jīng)歷了很多考驗。作為一個向量數(shù)據(jù)庫，隨著大型模型的興起，許多核心企業(yè)應(yīng)用，比如像 ChatGPT、OpenAI 這樣的應(yīng)用，開始在后臺使用 Redis。這使得 Redis 在滿足客戶需求方面有了更多的合作機會。

同時，Redis 的搜索模塊也在不斷發(fā)展壯大。我們通過收集來自客戶的第一手資料，產(chǎn)品團隊將客戶在實際應(yīng)用中遇到的需求以及在 AI 和大數(shù)據(jù)環(huán)境下的新需求，迅速轉(zhuǎn)化為產(chǎn)品，更好地為客戶提供服務(wù)。

Redis 向量數(shù)據(jù)庫技術(shù)實踐

InfoQ：我注意到您提到了 ChatGPT 和 OpenAI，他們已經(jīng)在使用 Redis。那他們是否將 Redis 作為唯一的向量數(shù)據(jù)庫使用？這方面有哪些信息可以分享嗎？

史磊：根據(jù)我了解，ChatGPT 和 OpenAI 并不僅僅使用 Redis 作為唯一的向量數(shù)據(jù)庫，他們也在與其他向量數(shù)據(jù)庫合作。因為技術(shù)的更新和迭代非常迅速，Redis 已經(jīng)成立了專門的團隊來負責(zé)向量數(shù)據(jù)庫的研究和開發(fā)，并與多個不同的企業(yè)合作。

在 Redis 的官網(wǎng)上，我們已經(jīng)展示了與許多 AI 大模型領(lǐng)域的合作案例，包括與 ChatGPT 等的合作。然而，具體細節(jié)和哪些實際用例正在使用 Redis，以及它們的具體情況，因為這些領(lǐng)域變化迅速，所以我目前沒有最新的相關(guān)信息。

InfoQ：您之前提到的是在 2018 年，Redis 引入了向量搜索的模塊。當(dāng)時具體是什么情況？我們是基于客戶需求開發(fā)這個功能的嗎？還是我們自己看到了這個大的趨勢？

史磊：從 2018 年開始，Redis 引入了一個搜索模塊。當(dāng)時，這個搜索模塊主要支持標量搜索，而不是向量搜索。在那時，Redis 使用中的一個痛點是，盡管它是一個內(nèi)存中的鍵值存儲系統(tǒng)，查詢時如果不逐個掃描每個鍵，就沒有很好的方法來根據(jù)查詢條件檢索數(shù)據(jù)。

因此，2018 年的版本主要是為了解決搜索這一痛點。它允許用戶在 Redis 中存儲大量的鍵，而且這些鍵的檢索速度非常快。但是，如何在這些鍵中快速找到滿足特定條件的數(shù)據(jù)呢？通過內(nèi)部迭代和升級，從 1.0 版本到 2.0 版本，我們收集了許多客戶的需求。這些需求主要集中在如何快速創(chuàng)建索引、如何快速執(zhí)行查詢，以及如何讓應(yīng)用程序自動完成這些操作。2020 年我們推出的 2.0 版本中就著重于這些方面。隨后，在 2.4 版本中（從去年 3 月開始，在 ChatGPT 等大模型流行之前），我們正式引入了向量搜索功能。在這個過程中，我們收到了許多客戶的請求，他們問是否可以將 Redis 的快速標量搜索擴展到向量化數(shù)據(jù)的搜索。我們的產(chǎn)品團隊聽取了這些客戶的需求，在初期支持了基本的向量相似性搜索功能。

隨著時間的推移，我們不斷地加入各種主流搜索模式和算法，逐步完善這個功能，使其變得更加成熟。現(xiàn)在，Redis 在 7.2 版本中進行了重大更新，帶來了許多新功能。值得注意的是，我們不再將搜索作為一個模塊進行推廣，而是將其視為 Redis 提供的主要功能之一。這意味著 Redis 不僅可以用作緩存和主數(shù)據(jù)庫，還可以用作向量數(shù)據(jù)庫。

InfoQ：隨著功能的增加，Redis 的定位也發(fā)生了一些變化？

史磊：是的。最初，Redis 的產(chǎn)品定位確實是作為一種內(nèi)存數(shù)據(jù)庫，專注于提供內(nèi)存存儲，并通過模塊來擴展其功能。然而，隨著時間的推移，我們對 Redis 進行了重新定位。現(xiàn)在，我們提供了 Redis 企業(yè)版軟件，將所有功能集成在其中。只要使用 Redis 企業(yè)版，就能夠獲得全部功能，無需額外購買或部署特定組件，即可直接使用。

對于客戶而言，如果他們已經(jīng)在使用 Redis 作為緩存，他們現(xiàn)在只需將向量存儲到 Redis 中，便可以直接進行向量搜索。這對客戶來說非常直觀且易用，同時也不會增加額外的系統(tǒng)復(fù)雜性，無需引入其他產(chǎn)品或功能。

InfoQ：我想了解一下關(guān)于這個模組研發(fā)歷程的情況，以及它在研發(fā)過程中所經(jīng)歷的一些迭代。此外，當(dāng)它與 Redis 數(shù)據(jù)庫結(jié)合時，是否遇到了什么問題？如果有技術(shù)上的難題，您是如何解決的？能介紹一下相關(guān)的技術(shù)實踐過程嗎。

史磊：Redis 在不同領(lǐng)域的廣泛應(yīng)用促使我們從各個領(lǐng)域收集了對 Redis 搜索的需求。起初，有客戶提出了希望在內(nèi)存中進行向量搜索的需求。我們認真傾聽了這些客戶的意見，并著手實現(xiàn)這個功能。

在實現(xiàn)過程中，從初始的 POC（Proof of Concept）項目開始，我們將這個功能作為一個附加組件添加到 Redis 中。隨著時間的推移，我們將它演變成了 Redis 的主推功能。在這個過程中，Redis 的主產(chǎn)品與我們的模組功能相互協(xié)同進化。舉個例子來說，Redis 企業(yè)版在解決日常應(yīng)用中的痛點方面擁有許多特性，比如內(nèi)建的強大代理（proxy）。這個代理能夠自動將請求導(dǎo)向相應(yīng)的分片，不管是單一分片還是集群模式，從而保證了 Redis 的存儲和吞吐量能夠自動調(diào)整，無需額外干預(yù)。對客戶而言，借助內(nèi)建的代理，可以簡化業(yè)務(wù)邏輯，無需關(guān)心是單一模式還是集群模式。這同時也解決了搜索的難題，因為 Redis 每個分片是單線程模式，如果請求集中在一個分片上，性能會受到影響。但如果使用集群模式，客戶端需要維護連接并了解每個分片上的數(shù)據(jù)，這會使得業(yè)務(wù)邏輯變得復(fù)雜。

企業(yè)版解決了這些困難，同時也使得搜索更加容易。在 Redis 集群版中，由于已經(jīng)內(nèi)置了代理，搜索請求能夠自動分配到各個分片上執(zhí)行，并以最低的成本整合結(jié)果。這確保了 Redis 在搜索中不再受制于單一分片的性能，同時提供更大量、更快速的搜索。這種搜索的擴展性和速度得益于 Redis 企業(yè)版內(nèi)置的代理。

在開發(fā) Redis 搜索過程中，由于需要維護額外的數(shù)據(jù)結(jié)構(gòu)，如索引，我們的產(chǎn)品團隊進行了優(yōu)化，確保快速的分配和查詢這些結(jié)構(gòu)，使得 Redis 企業(yè)版性能比開源版有了顯著提升。

此外，我們正在推出的企業(yè)版本中，包括最新的 7.2 版本，已經(jīng)引入了預(yù)覽版的功能。在搜索方面，我們解決了每個分片上搜索仍然受限于單線程限制的問題。通過多線程方式，我們實現(xiàn)了同時搜索，這在測試中已經(jīng)實現(xiàn)了超過 10 倍甚至 16 倍的性能提升。這也說明了搜索有許多方法可以進一步優(yōu)化性能，這是一個不斷進化和不斷完善的過程。

InfoQ：把上述功能融入到 Redis ，賦能 Redis 數(shù)據(jù)庫，時間上花了多久呢？

史磊：這項技術(shù)的演進過程從最初的討論到研究，再到研發(fā)，以及現(xiàn)在的預(yù)覽版功能，經(jīng)歷了相當(dāng)長的時間。根據(jù)我了解，這個功能的實際測試時間至少超過一年，從最初的討論到實際測試的過程確實需要一段時間。而在規(guī)劃和實施這些功能之前，所花費的時間絕對不止一年。

Redis 的產(chǎn)品團隊投入了大量的時間和精力，甚至設(shè)立了一個專門的團隊，負責(zé)確定 Redis 作為向量數(shù)據(jù)庫需要實現(xiàn)的功能。這個團隊需要思考有哪些核心組件可以完成這些功能，還需要與其他團隊合作。整個過程需要跨足多個團隊的合作，因此這是一個長期發(fā)展的過程。

InfoQ：鑒于大模型如此受歡迎，以及數(shù)據(jù)庫的重要性，您是否認為在這個人工智能與大數(shù)據(jù)的時代，數(shù)據(jù)庫變得尤為重要？是否必須要研發(fā)新的數(shù)據(jù)庫，以滿足不斷增長的需求？

史磊：我認為現(xiàn)在的向量數(shù)據(jù)庫已經(jīng)成為剛需，因為它解決了傳統(tǒng)數(shù)據(jù)庫無法解決的幾個核心問題。傳統(tǒng)數(shù)據(jù)庫主要基于關(guān)鍵詞進行精確搜索，即存在或不存在的模式。而向量數(shù)據(jù)庫提供的是近似搜索，當(dāng)我提供一張圖片、一段文字或者一個語音時，它能夠找到相似的匹配項，而不僅僅是 0 和 1 的結(jié)果。它通過打分機制給出近似值，這是傳統(tǒng)數(shù)據(jù)庫無法實現(xiàn)的。

同時，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫的索引方法也無法直接適用于現(xiàn)在的向量數(shù)據(jù)庫。因為在底層，包括計算、數(shù)據(jù)存儲以及應(yīng)用層面，向量數(shù)據(jù)庫與傳統(tǒng)數(shù)據(jù)庫完全不同。起初，向量數(shù)據(jù)庫可能只是作為關(guān)系數(shù)據(jù)庫的一個補充。然而，隨著大數(shù)據(jù)、大模型和人工智能的發(fā)展，對于向量的存儲和查詢以及快速性能都提出了更高的要求，只有向量數(shù)據(jù)庫才能夠滿足這些要求。

向量數(shù)據(jù)庫的需求會持續(xù)上升嗎

InfoQ：未來向量數(shù)據(jù)庫的需求會持續(xù)上升嗎？

史磊：我認為這是一個持續(xù)上升的過程。隨著大模型的興起，對向量數(shù)據(jù)庫的需求不斷增加。許多傳統(tǒng)的向量數(shù)據(jù)庫也在不斷進行迭代和更新，一些以前不支持向量數(shù)據(jù)庫的產(chǎn)品也在聲稱自己支持，不斷地添加這一功能。因此，這種需求將持續(xù)存在，這是一個不斷洗牌、淘汰不足的過程。

InfoQ：目前有一些人認為未來的每個數(shù)據(jù)庫都會自然而然地、本地支持向量嵌入和向量搜索。您對這種觀點有何看法？如果這種趨勢確實出現(xiàn)，它會對向量數(shù)據(jù)庫行業(yè)產(chǎn)生什么影響，可能會有哪些積極的方面，或者可能會帶來哪些挑戰(zhàn)？

史磊：從技術(shù)角度來看，幾乎任何存儲系統(tǒng)或查詢系統(tǒng)都可以通過添加功能來支持向量搜索、查詢或存儲。從這個角度來說，技術(shù)上并沒有問題。然而，在實際應(yīng)用中，我們可能會逐漸趨向于一種或兩種常用的類型，其他的方式可能會逐漸淘汰。盡管它們都是數(shù)據(jù)存儲或數(shù)據(jù)庫系統(tǒng)，但它們通過不同的方法來滿足索引和查詢的需求。傳統(tǒng)的數(shù)據(jù)庫很難直接支持向量查詢，因為在底層設(shè)計上缺乏對向量查詢的有效支持。盡管可以通過添加功能來實現(xiàn)，但這可能變得笨拙且不夠便捷。

新興的向量數(shù)據(jù)庫可能更適應(yīng)當(dāng)前的需求，但它們可能會引入系統(tǒng)的復(fù)雜性。例如，客戶可能需要同時使用傳統(tǒng)數(shù)據(jù)庫、關(guān)系數(shù)據(jù)庫和向量數(shù)據(jù)庫，這會增加維護、成本和開銷。因此，我們需要找到一個良好的平衡點，一個系統(tǒng)既能滿足向量數(shù)據(jù)庫的要求，同時也能滿足傳統(tǒng)查詢功能的需求。找到這樣的組合是關(guān)鍵。作為客戶，如果能夠使用一個系統(tǒng)來高效地完成不同類型的功能，而不是選擇傳統(tǒng)系統(tǒng)再另外添加功能，維護成本和各種成本都會降低。

在這種情況下，我認為 Redis 可以很好地實現(xiàn)這種平衡。Redis 不僅是廣泛使用的應(yīng)用，作為企業(yè)版，它還提供了完整的企業(yè)級應(yīng)用生態(tài)系統(tǒng)，可以幫助客戶滿足各種需求。無論是向量搜索還是標量搜索，在 Redis 中都是以 key-value 的方式存儲在內(nèi)存中，查詢效率都很高。此外，Redis 還具有強大的混合查詢功能，允許同時查詢向量和其他類型的數(shù)據(jù)，如文本、數(shù)值或 GPS 信息。這種原生的混合查詢功能使得 Redis 在向量數(shù)據(jù)庫領(lǐng)域具有顯著優(yōu)勢，同時保持高性能。

AIGC 浪潮下，開發(fā)者該如何“武裝”自己？

InfoQ：作為一個在數(shù)據(jù)庫領(lǐng)域有多年經(jīng)驗的老師，您認為現(xiàn)在程序員如果希望在 AI 和向量數(shù)據(jù)庫領(lǐng)域發(fā)展，需要掌握哪些關(guān)鍵技能呢？

史磊：當(dāng)前技術(shù)的迭代速度極快，去年使用的產(chǎn)品和經(jīng)驗可能在今年已經(jīng)變得過時，或者新的技術(shù)已經(jīng)涌現(xiàn)。在這種情況下，我認為首先我們需要更深入地了解現(xiàn)有系統(tǒng)。以 Redis 為例，大多數(shù)人可能知道它在緩存方面表現(xiàn)出色，但除此之外，Redis 在其他領(lǐng)域的應(yīng)用可能并不為人所知。作為技術(shù)從業(yè)者，了解主流產(chǎn)品的底層架構(gòu)和功能，以及它們能夠?qū)崿F(xiàn)的功能非常重要。

我們需要不斷地更新知識，尤其是在向量數(shù)據(jù)庫和大模型等新興技術(shù)興起之后。作為技術(shù)人員，要積極擁抱新技術(shù)，深入了解它們的工作原理和應(yīng)用場景。不是從已有技術(shù)跳躍到嶄新的技術(shù)，而是要利用自身積累的經(jīng)驗，將新技術(shù)應(yīng)用于現(xiàn)有的工作中。雖然這種技術(shù)轉(zhuǎn)換是存在成本的，但我們需要找到最有效的方法來將轉(zhuǎn)換成本降至最低，讓技術(shù)為我們服務(wù)，而不是成為技術(shù)的奴隸。這需要經(jīng)驗、技術(shù)洞察力和不斷的探索精神來實現(xiàn)。

未來向量數(shù)據(jù)庫市場會正向地“卷”

InfoQ：老師的話確實給了我們很有價值的啟示。最后，我們可以探討一個廣泛受關(guān)注的話題，即向量數(shù)據(jù)庫未來的發(fā)展。當(dāng)前，向量數(shù)據(jù)庫已經(jīng)進入了熱門階段，許多相關(guān)技術(shù)也變得非常成熟，包括向量索引和傳統(tǒng)數(shù)據(jù)庫技術(shù)。然而，人們普遍關(guān)心的是，未來的發(fā)展將會走向何方，以及我們應(yīng)該關(guān)注哪些趨勢？

史磊：根據(jù)我的個人觀點，結(jié)合我多年來在 AI 和大數(shù)據(jù)領(lǐng)域的經(jīng)驗，以及對傳統(tǒng)數(shù)據(jù)庫的了解，我要說，幾年前我無法預(yù)料到數(shù)據(jù)庫領(lǐng)域能夠如此迅速地發(fā)展至今的程度。

在向量數(shù)據(jù)庫方面，我認為它的出現(xiàn)受到了強烈的驅(qū)動力，這種驅(qū)動力能夠快速淘汰那些不合適的技術(shù)，同時也會促使新技術(shù)的不斷涌現(xiàn)，這是一個逐步篩選的過程。從長遠來看，我堅信向量數(shù)據(jù)庫將不斷成熟，同時也會為不同的應(yīng)用場景提供更加精準的向量搜索結(jié)果。

以一個簡單的例子來說明，我們可能需要實時、快速的搜索，也可能需要大規(guī)模特征搜索。在未來，這些需求可能會逐漸演變成不同的維度。我相信會有一些特定領(lǐng)域的向量數(shù)據(jù)庫逐漸嶄露頭角，可能會涌現(xiàn)出一兩個或者更多的適應(yīng)特定場景的數(shù)據(jù)庫類型。每個類型可能會在特定的領(lǐng)域得到優(yōu)化，這將是一個整合與優(yōu)化的過程。

InfoQ：未來向量數(shù)據(jù)庫會不像傳統(tǒng)數(shù)據(jù)庫那樣，在國內(nèi)涌現(xiàn) 200 多家出來？

史磊：我認為數(shù)據(jù)庫市場的持續(xù)擴張是不可避免的，這主要是因為技術(shù)的迭代速度非常快，同時技術(shù)門檻也在逐漸降低。當(dāng)前存在著大量的需求，這將吸引越來越多的數(shù)據(jù)庫甚至向量數(shù)據(jù)庫加入競爭。然而，從業(yè)界角度看，這種市場擴張是有利的。它可以促使更多的技術(shù)和業(yè)務(wù)參與，盡管市場在一定范圍內(nèi)會有限制，但這將在一場競爭中篩選出更優(yōu)秀的技術(shù)和解決方案，以更好地滿足需求。

我希望看到更多競爭者涌現(xiàn)在這個領(lǐng)域，同時也期待看到哪些技術(shù)能夠經(jīng)受住應(yīng)用的考驗，證明自己在實踐中的可行性。對我而言，這種市場擴張應(yīng)當(dāng)是良性的。我們不希望看到惡性競爭，也不應(yīng)該是通過貶低其他應(yīng)用來凸顯自身的優(yōu)越性。我認為這對于行業(yè)的生態(tài)是不利的。相反，我期待一種良性競爭，讓人們有更多優(yōu)質(zhì)的選擇，從而推動整個領(lǐng)域的進步。