當前,伴隨信息技術的持續變革與發展,以數字經濟為代表的新經濟將成為發展新動能。以云計算、大數據、人工智能等為代表的數字技術不斷涌現,快速向經濟社會各領域融合滲透。以數據為核心的數字化轉型已是大勢所趨。金融業是數據密集型行業,在生產經營過程中積累了海量的數據資源,對數據資產進行管理、應用、治理成為金融機構探索和實踐的重要方向。在本篇文章中,我們將結合金融機構在數據治理過程中的具體實踐,一起探討軟件定義存儲技術能夠在數據治理體系中發揮怎樣的價值。
金融機構數字化轉型中數據治理的困難與挑戰
金融機構作為數字化轉型的親身實踐者,在過去的實踐中積累了較為豐富的數據治理經驗。但是面對數據的海量增長,如何科學地管理和使用數據,“盤活”數據價值,使經濟利益和社會效益最大化,依然面臨著諸多困難與挑戰。
困難一、缺乏統一數據視圖,難以發現價值數據
由于歷史原因,多數金融機構的數據資源散落在多個業務系統中,缺乏統一的數據視圖,管理人員和業務人員無法及時感知數據分布情況,無法快速找到符合自己需求的數據,也無法發現有價值的數據并納入數據資產。
困難二、數據孤島普遍存在,跨業務共享效率低
金融機構將數據作為戰略性資源,因數據共享機制不完善、各機構數據接口不統一等問題,導致數據難以互聯互通,形成“數據煙囪”,不利于開放共享。
困難三、數據質量低下,業務決策根基不牢
數據質量是金融服務與創新的重要基礎。由于缺乏完善的數據治理體系,金融機構在數據采集、存儲、處理等環節存在不科學、不規范等問題,無法確保數據的完整性和準確性。
困難四、科技研發投入不足,數據場景融合不足
金融機構的數據規模十分龐大,從中挖掘高價值、關聯性強的高質量數據,需要高效的信息技術支撐和可靠的基礎設施保障。然而,部分機構科技研發投入相對不足,導致海量數據資源無法盤活,數據價值難以充分釋放。
困難五、缺乏安全的數據環境,數據流程存在風險
倘若擁有龐大的數據資源,但缺乏安全的數據環境,同樣危險重重。常見的安全風險包括數據泄露、數據濫用等,潛藏在數據的采集、存儲、共享等各個流程中。
困難六、缺乏數據治理體系,數據“不善用、不盡用”
部分金融機構尚未建立起有效管理和應用數據的模式,對數據服務和應用缺乏合規性指導。由于法律法規尚不健全、數據治理體系還不完善、機構合規意識不足,數據“不善用”的問題突出,過度采集數據、違規使用數據、非法交易數據等問題屢見不鮮。
概括而言,一是數據組織形態和架構的問題,即如何將數據納入統一視圖、讓數據跨業務共享;二是數據管理策略和安全的問題,即如何提高數據的質量、深化數據與應用的融合、保障數據環境的安全;三是數據價值發現的問題,即如何釋放數據價值。
面對上述困難和挑戰,金融機構如何解困破局、實現數據有序治理和高效利用,探索數據治理之“道”成為迫在眉睫的問題。
三大策略指引金融機構從數據管理到數據治理轉型跨越
針對以上困難和挑戰,金融機構如何制定數據治理策略、完善數據治理體系、做好數據資產管理和價值評估至關重要。所謂數據治理,就是處理數據的策略,即如何存儲、訪問、驗證、保護和使用數據。數據治理必須涵蓋數據的全生命周期,即從數據的獲取、存儲到管理、應用再到歸檔、刪除的全流程。
按照數據生命周期的特點,可以將數據治理策略分為三個部分,即數據的獲取和存儲、數據的管理和安全、數據價值的釋放。
策略一、數據的獲取和存儲
數據生命周期管理的起點,是數據的獲取和存儲,這也是數據治理最先面對的環節。若要解決統一視圖、跨業務共享的問題,需要對數據資源制定標準、建立模型,并確定元數據和主數據的存儲方式,可概括為數據標準管理、數據模型管理、元數據管理、主數據管理四個方面。
數據標準管理可確保大數據平臺數據的完整性、有效性、一致性、規范性,推動數據共享開放。數據模型管理將所有數據納入統一視圖,便于數據整合。元數據管理實現關鍵信息的追蹤、記錄和快速檢索。主數據管理實現跨系統使用一致的和共享的主數據,降低成本和復雜度。
策略二、數據的管理和安全
如何對數據進行管理、評估和共享呢?這便進入數據治理的第二階段,即數據的管理和安全,該階段的主要措施可概括為質量管理、安全管理、共享管理等三個方面。
質量管理幫助金融機構獲得干凈、結構清晰的數據,極大提升數據質量;安全管理確保數據資產在“存、管、用”等環節中的安全,做到“事前可管、事中可控、事后可查”;數據共享管理通過搭建統一共享平臺,打通跨部門共享瓶頸,提高利用價值。
策略三、數據價值的釋放
數據治理的最終目的是釋放數據價值。數據價值管理是數據治理體系中的關鍵環節,是對數據內在價值的度量,主要從數據資產的分類、使用頻次、使用對象、使用效果等方面計量。數據價值管理可以實現數據成本的有效控制,優化數據服務方式,提高數據應用價值。
以上各個環節之間環環相扣,只有緊密協同才能發揮更大作用。完善的數據治理體系幫助金融機構找準高質量數據、深挖高價值數據,最終實現數據資產效益最大化的目標,解決金融機構的數據治理之“困”。
軟件定義存儲助力數據治理體系建設
為構建數據治理體系,金融機構不僅要結合業務需求合理規劃,更要依托信息技術梳理數據內容、安全存儲數據、高效利用數據,存儲系統必然是重要支撐。
現階段,多數金融機構傾向于通過搭建數據湖(Data Lake)來存儲包括結構化、半結構化、非結構化數據在內的數據資源,以供上層調用。這樣一來,軟件定義存儲(Software Defined Storage,簡稱SDS)在金融機構數據治理體系中,無疑扮演著重要角色。那么,什么是軟件定義存儲?軟件定義存儲、數據湖、數據治理之間有何關系呢?
本質上,軟件定義存儲是提供存儲功能和特性的軟件,它將數據從硬件架構上解放出來,使用戶專注于數據蘊含的價值。軟件定義存儲通過統一的虛擬管理平臺,與前端應用、管理程序、物理空間進行交互,極大簡化數據管理。數據湖是以自然格式存儲的數據的系統,一般包括結構化數據、半結構化數據、非結構化數據和二進制數據等全部原始數據資源。簡而言之,要實現數據存儲和管理的優化,基于軟件定義存儲搭建統一數據湖無疑是極佳的選擇。
圖1:基于SDS的數據管理架構圖
軟件定義存儲以分布式架構、彈性擴展、海量數據支撐、管理運維簡單等優勢,幫助金融機構搭建穩定可靠的數據平臺,輕松實現海量數據的存儲和管理,依靠AI后處理框架挖掘數據價值,成為金融機構治理數據的好幫手。主要體現在以下幾個方面:
優勢一、解決海量存儲需求
針對金融機構缺乏統一數據視圖、存在數據孤島等問題,軟件定義存儲因其抽象化、池化等特性,從根本上解決了這類問題。軟硬件解耦使得存儲軟件不再依賴于專有硬件;通過虛擬化,將物理存儲空間虛擬成統一資源池,建立統一命名空間,構建多業務共享的數據湖;
其全分布式架構,彈性擴展靈活,支撐EB級容量,滿足金融機構對容量、性能等需求。
優勢二:解決智能管理需求
軟件定義存儲提供豐富的API,根據業務應用要求,自動按需部署存儲資源,實現基于存儲策略的自動化管理目標,極大地簡化管理,節省基礎設施投入,降低運維成本。其自定義管理的策略,實現生命周期自動化管理;通過智能緩存、數據分層等特性,讓存儲介質“物盡其用”,在數據訪問性能和存儲成本之間實現平衡。
優勢三:解決釋放數據價值需求
伴隨AI技術的興起,數據治理開始向“智能化”轉變。與傳統存儲不同,軟件定義存儲能夠實現內容感知,配合前端應用對海量數據進行大數據分析和價值挖掘。以杉巖數據為例,其對象存儲產品中集成了AI后處理框架,支持包括OCR識別/人臉識別、語音識別等AI插件,幫助金融客戶更好的實現AI賦能和價值挖掘;同時還支持 Hadoop、Spark等大數據分析系統,充分釋放數據價值。
面對諸多難題,軟件定義存儲幫助金融機構打造智能化的數據治理平臺,解決數據的存儲、管理、共享等一系列問題,極大地提升數據治理水平,為數字化轉型提供有力支撐。
數據中臺解決方案助推金融機構數字化轉型
在金融機構數字化轉型中,每家機構業務基礎不同、戰略重點不同,數字化轉型中是不能套用一套模板的,需結合宏觀架構和具體應用場景進而深入融合,才能助力金融機構在全面數字化轉型中夯實“科技+開放”能力,與金融機構共建數字金融快車道,提升金融服務實體產業的質效。金融非結構化數據中臺解決方案就是這樣一個代表性的方案。
圖2:金融非結構化數據中臺解決方案拓撲圖
數據中臺解決方案,以軟件定義存儲作為能力后臺,為數據中臺提供存儲支撐。基于分布式架構搭建統一存儲池;通過生命周期管理、智能QoS等實現自動化管理;集成AI后處理框架,整合金融機構的 AI 能力,將數據價值最大化釋放,為金融機構提供數據治理的技術支撐。
數據中臺解決方案能夠幫助金融機構解決數據孤島、實現數據有序治理和高效利用。
一.實現能力平臺化,使數據的存儲、共享趨于服務化。面對需求變化,快速響應開發,通過數據與應用深度融合實現一次處理、多處應用,避免重復開發帶來的效率損失。
二.解決數據孤島問題。可實現跨業務檢索、數據共享更加便捷,便于數據整合分析。解決業務性能彈性擴展,輕松支撐EB級容量、百億文件高并發訪問。
三.實現統一的基礎設施資源管控,讓數據治理更加場景化、模式化、體系化、標準化。統一的數據管理,保障數據完整性、準確性和一致性,減少重復收集造成的資源浪費和數據冗余。數據的規范共享,提升數據利用效率和應用水平,實現數據多向賦能。
金融科技蓬勃發展,金融業正處于以科技賦能實現發展、大變革的關鍵時期。數據作為戰略資源,加快數據治理進程、完善數據治理體系已經成為金融機構的重要工作。數據治理的核心環節是數據應用,要從算力、存儲、網絡等維度加強技術支撐,切實增強數據應用能力。對存儲而言,探索、交叉融合、數據安全等數據存儲方案是穩步推動分布式數據庫金融應用的基石,實現數據高效存儲和智能管理是目標。
在金融科技驅動的數字化轉型進程中,一些金融機構已取得突破,如:中國金融認證中心、廣發證券、中國人民保險、招行信諾等,基于數據驅動業務發展需求,采用數據中臺解決方案,提升了一站式技術能力、統一數據管理能力、快速配置開發業務能力,通過數字化轉型帶來了數據融合和技術融合,滿足了數據中臺的建設需求。
金融業的數字化轉型的快速發展,離不開像華為、杉巖數據等云計算企業,大家深刻認識數據資源對金融業數字化轉型的重要意義,切實助力金融業把數據存儲、管理、應用做到按需規劃,推動金融業向數字化的落地。國產自主研發的軟件定義存儲作為數據存儲+數據共享的平臺,為金融業提供了更快的性能、更高的靈活性和開放性、更強的擴展性,實現更便捷的管理、更簡單的運維以及更少的投入,幫助金融機構“數據治理”駛入快車道。
評論
查看更多