在上篇「Redis高效、安全的不停機數據遷移方案」的文章中,介紹了NineData在Redis遷移場景下的性能和優勢。因為數據在主備、多云和多區域環境之間的遷移流動,難免會產生數據一致性的問題,而結構與數據不一致往往是導致故障的原因之一。所以,如何快速準確地完成 Redis 數據對比成為了一個重要的問題。
現在,NineData 在支持業務不中斷的前提下,實現了配置簡單、高效和安全的數據對比服務,很好地保障了各場景下因數據遷移導致數據不一致的問題。經實測,NineData可在 1 分鐘內完成 800 萬個key( 2GB,涉及所有類型)的數據對比,平均對比速率為 13萬/秒,并且找出不一致的key,生成詳細的對比報告,幫助您快速定位和修復不一致的數據。
目前,數據對比主要的方式有:通過解析遍歷RDB二進制文件、SCAN遍歷實例以及一些開源工具進行數據對比,對于這些方式的對比,會存在一些問題:
兼容性差,不同版本的Redis,RDB文件格式發生變化,對于解析RDB文件方式的對比,需要開發適配。
可用性差,對比完成之后,無法自動生成修復操作。
可靠性差,對于開源工具,對比異常后,無法斷點。
運維性差,不能進行進度查看、暫停、告警等操作。
NineData高效的數據對比方案
NineData 在提供了「數據復制」和「可視化管理」的同時,又進一步拓展了Redis對比的能力,很好地滿足了Redis對于數據一致性的要求。相較于傳統對比,NineData 的Redis數據對比能力有如下優勢:
簡單易用:一分鐘即可完成任務配置,并全自動化完成對比任務。
強勁性能:通過多線程、隊列優化、流式內存管理等核心技術,對比性能達到 13萬/秒,有效保障對比效率。
完善的功能:支持Redis數據的一致性對比,同時提供了一次性對比、周期性對比、快速對比等適合多種使用場景的對比功能,并且也提供了不一致數據修復的能力。
可視化界面:擁有簡潔直觀的用戶界面,無需復雜的設置即可進行數據對比,并且以直觀的圖表和報告呈現對比結果,使您輕松理解數據差異。
安全可靠:NineData 平臺通過國家公安部三級網絡安全等級保護認證,為企業的信息安全提供高等級的防護。
通過上述優勢,保證了 NineData 在Redis對比場景下的領先性。另外,NineData 還提供了對比功能,包含全量、快速和不一致復檢的對比方式,并且也支持不同的對比頻率。在遷移或復制結束后,通過對比,有效地保障數據的質量。
對比鏈路的配置
NineData數據對比鏈路的配置
1. 配置任務名稱,選擇要對比的源數據源和目標數據源。
2. 對比頻率,可選擇一次性對比或按照需要定期對比。
3. 對比方式,可選擇全量數據對比或自定義抽樣比例對比。
選擇對比對象
通過NineData數據對比選擇對比對象
選擇對比對象:可選擇不同DB進行對比。
配置映射對象
通過NineData配置映射對象
配置映射:可以把源實例的多個數據庫映射到目標實例指定的1個或多個數據庫。
預檢查
NineData數據對比提供了預檢查功能
通過完善的檢查項,保證了對比任務的穩定性。到此,我們就完成了一個快速、高效的Redis對比任務的配置,當完成配置并啟動任務后,NineData就實現全自動化的數據對比。
同時,為了提供更好的對比體驗,NineData針對對比過程提供了完善的觀測、干預能力。其不但提供對象對比的詳細狀態、進展、詳情,還通過監控和日志透露后臺線程的內部執行情況,幫助用戶全方位追蹤對比進展。同時,還針對運行過程中可能出現的異常情況,提供告警和對比暫停能力,讓用戶能夠自主快速地診斷并修復異常,保障對比的穩定性。對比期間的信息:
NineData提供對比期間的信息總覽
在監控中可以看到對比的RPS,實時了解對比的性能。除了監控外,如果遇到數據不一致的情況,在操作列中則會出現「查看詳情」按鈕。進去可以看到具體key的不一致信息:
通過NineData查看具體key的不一致信息
最后,在操作列中可以看到「SQL」按鈕,會顯示提供修復不一致數據的操作:
NineData生成修復不一致數據的變更SQL
總結
NineData 數據對比是一款云原生數據對比產品,具備每秒處理100萬筆記錄的高效能力。它提供了一站式支持,適用于IDC自建、云主機自建以及云數據庫。并支持多種數據庫,除了Redis之外,還包括MySQL、SQL Server、PostgreSQL、MongoDB、ClickHouse、Doris等,可進行數據庫間的結構對比和數據對比。
此外,NineData還支持同構和異構數據源之間的數據一致性校驗。用戶可以選擇結構對比、全量對比、抽樣對比、周期性對比等多種對比方式。NineData能夠動態監測數據庫負載,自適應調整對比速度,確保數據庫的穩定性。豐富的數據源支持使得NineData能夠滿足不同客戶的需求。此外,NineData在結構對比方面擁有業界領先的覆蓋度,對象類型及屬性覆蓋度業界 NO.1。
審核編輯 黃宇
-
數據庫
+關注
關注
7文章
3845瀏覽量
64601 -
Redis
+關注
關注
0文章
378瀏覽量
10907
發布評論請先 登錄
相關推薦
評論