下一步,永遠(yuǎn)比這一步更難。
數(shù)據(jù)庫(kù)與操作系統(tǒng)、中間件是計(jì)算機(jī)基礎(chǔ)的三大軟件。
“缺芯少魂”之痛常讓人為國(guó)產(chǎn)操作系統(tǒng)的不足捏一把汗,而數(shù)據(jù)庫(kù)卻更像藏在水面之下的冰山,甚少有人關(guān)注?,F(xiàn)在,市場(chǎng)上顯現(xiàn)出了一些新的變化,國(guó)產(chǎn)數(shù)據(jù)庫(kù)已經(jīng)邁出了通往快速路的第一步。
數(shù)據(jù)庫(kù),即數(shù)據(jù)管理系統(tǒng),誕生于20世紀(jì)60年代中期的美國(guó),可以被看作是電子化的文件柜。與國(guó)外廠商的誕生時(shí)間和發(fā)展速度相比,我國(guó)數(shù)據(jù)庫(kù)處于相對(duì)落后狀態(tài)。20世紀(jì)80年代,數(shù)據(jù)庫(kù)老大哥甲骨文最早進(jìn)入內(nèi)地市場(chǎng)時(shí),國(guó)外數(shù)據(jù)庫(kù)已經(jīng)迭代了超過(guò)7個(gè)版本。
那時(shí),操作系統(tǒng)、中間件、數(shù)據(jù)庫(kù)都在嘗試國(guó)外廠商已有的數(shù)字化實(shí)踐之路。從今天來(lái)看,雖然國(guó)外廠商仍占據(jù)我國(guó)數(shù)據(jù)庫(kù)市場(chǎng)80%以上,國(guó)內(nèi)廠商仍不是主流產(chǎn)品,但一些新的趨勢(shì)正在行業(yè)內(nèi)部悄然發(fā)生。
比如,關(guān)系型數(shù)據(jù)庫(kù)市場(chǎng)中,國(guó)產(chǎn)數(shù)據(jù)庫(kù)市占率已經(jīng)從2009年的4.2%提升至2019年的18.9%以上;2020 年 11 月Gartner 發(fā)布的2020年度數(shù)據(jù)庫(kù)廠商評(píng)估報(bào)告中,中國(guó)數(shù)據(jù)庫(kù)廠商已經(jīng)占據(jù)三席。
本文,「甲子光年」深度采訪了藏在第七次全國(guó)人口普查、騰訊會(huì)議、健康碼背后的數(shù)據(jù)庫(kù)團(tuán)隊(duì)TDSQL。不為人知的是,這支在騰訊內(nèi)部慢慢生長(zhǎng)的小分隊(duì)見證了騰訊近十年來(lái)的技術(shù)成長(zhǎng),在騰訊關(guān)于視頻、游戲、社交、金融等一場(chǎng)場(chǎng)戰(zhàn)役中,都有它的身影。
今天,這支小分隊(duì)已經(jīng)不止于服務(wù)騰訊內(nèi)部,而且走出家門。它開墾金融、政務(wù)、電商、社交、互聯(lián)網(wǎng)等領(lǐng)域的荒地,為微眾銀行、張家港農(nóng)商行、平安銀行、PICC、三一重工、bilibili、微盟、富途證券、云南公安等提供數(shù)據(jù)庫(kù)技術(shù)支持,成長(zhǎng)為企業(yè)級(jí)的分布式數(shù)據(jù)庫(kù),更被認(rèn)為是代表了整個(gè)銀行界IT分布式架構(gòu)的標(biāo)準(zhǔn)。
國(guó)產(chǎn)數(shù)據(jù)庫(kù)真的迎來(lái)轉(zhuǎn)折點(diǎn)了嗎?國(guó)產(chǎn)數(shù)據(jù)庫(kù)的機(jī)會(huì)在哪里?在云時(shí)代,我們又將需要怎樣的數(shù)據(jù)庫(kù)?
回答這些問(wèn)題,TDSQL有獨(dú)到的理解和不容置疑的發(fā)言權(quán)。
曙光初現(xiàn)背后的“臨危受命”
Oracle ACE總監(jiān),恩墨科技創(chuàng)始人蓋國(guó)強(qiáng)曾在“2019中國(guó)數(shù)據(jù)庫(kù)元年”的論述中講過(guò):“一個(gè)技術(shù)生態(tài)的繁榮發(fā)展,必須擁有廣泛的投入、廣泛的參與、廣泛的關(guān)注,這三者缺一不可。”
時(shí)間軸來(lái)到2020,從投入、參與和關(guān)注上,我們可以看到國(guó)產(chǎn)數(shù)據(jù)庫(kù)的豐收之色。
據(jù)「甲子光年」不完全統(tǒng)計(jì),僅2020年新成立的初創(chuàng)型國(guó)產(chǎn)數(shù)據(jù)庫(kù)公司就已完成13個(gè)融資項(xiàng)目。此外,一家僅成立5年的創(chuàng)業(yè)數(shù)據(jù)庫(kù)公司在2020年就已拿到2.7億美元的融資。
不止資本方面,學(xué)界也在發(fā)揮力量。從2020年論文發(fā)表數(shù)量來(lái)看,中國(guó)名列前茅。根據(jù)中信證券的分析報(bào)告,2020年 VLDB(大規(guī)模數(shù)據(jù)庫(kù)國(guó)際會(huì)議)刊登的 63 篇論文中,來(lái)自中國(guó)學(xué)者和研究人員的文章有23篇,在所有國(guó)家中排行第一,占比 36.5%。
2020年按國(guó)家分類VLDB論文發(fā)表數(shù)(單位:篇)
從參與度上來(lái)說(shuō),數(shù)據(jù)庫(kù)的賽道更是從壟斷狀態(tài)進(jìn)入了百舸爭(zhēng)流的狀況。
據(jù)「甲子光年」不完全統(tǒng)計(jì),僅2020年新成立的數(shù)據(jù)庫(kù)公司就有110家。國(guó)產(chǎn)數(shù)據(jù)庫(kù)賽道中的玩家更可以被分為4大流派,分別是以南大通用、武漢達(dá)夢(mèng)、人大金倉(cāng)為代表的學(xué)院派,騰訊云TDSQL、阿里OceanBase為代表的互聯(lián)網(wǎng)派,TiDB、巨杉數(shù)據(jù)庫(kù)、優(yōu)炫、萬(wàn)里開源、易鯨捷、熱璞 HotDB、極數(shù)云舟 ArkDB、星環(huán) KunDB、青云 RadonDB為代表的創(chuàng)業(yè)派和中興GoldenDB、亞信AntDB為代表的企業(yè)派。
國(guó)產(chǎn)數(shù)據(jù)庫(kù)的新動(dòng)作更是緊鑼密鼓,以騰訊云為例:
2020年4月,其以3.86 億元中標(biāo)《2020年銀聯(lián)云建設(shè)采購(gòu)項(xiàng)目》,成為當(dāng)時(shí)國(guó)內(nèi)金融云第一大單。其中,騰訊云數(shù)據(jù)庫(kù)為中國(guó)銀聯(lián)數(shù)字化轉(zhuǎn)型提供支持;
6月,騰訊云以10.66 億元中標(biāo)中國(guó)人民保險(xiǎn)集團(tuán)股份有限公司(PICC)人保云建設(shè)項(xiàng)目,其中,騰訊云分布式數(shù)據(jù)庫(kù)TDSQL PG(原TBase)為中國(guó)人保集團(tuán)在數(shù)字化方面提供支持;騰訊云以5.47億中標(biāo)“央視頻”5G新媒體平臺(tái)項(xiàng)目,騰訊云TDSQL和Redis數(shù)據(jù)庫(kù)提供技術(shù)支持;
8月,昆山農(nóng)商銀行和騰訊云計(jì)算(北京)有限責(zé)任公司正式簽署戰(zhàn)略合作協(xié)議,騰訊分布式數(shù)據(jù)庫(kù)TDSQL提供支持。
新動(dòng)作一直持續(xù)到去年(2020年)年底。12月24日,騰訊云宣布其數(shù)據(jù)庫(kù)品牌TDSQL品牌整合升級(jí)計(jì)劃,集中發(fā)力數(shù)據(jù)庫(kù)技術(shù)創(chuàng)新突破。騰訊云原有的TDSQL、TBase、CynosDB三大產(chǎn)品線統(tǒng)一升級(jí)為“騰訊云企業(yè)級(jí)分布式數(shù)據(jù)庫(kù)TDSQL”。
這一年,國(guó)產(chǎn)數(shù)據(jù)庫(kù)無(wú)疑迎來(lái)了火熱發(fā)展的黃金時(shí)期。
這種火熱程度對(duì)騰訊云TDSQL來(lái)說(shuō)不是跟風(fēng)上,更是等風(fēng)來(lái)。騰訊云數(shù)據(jù)庫(kù)技術(shù)負(fù)責(zé)人潘安群以一種身經(jīng)百戰(zhàn)的自信告訴「甲子光年」,“包括金融、政務(wù)、互聯(lián)網(wǎng)、智慧零售、社交、電商等各行各業(yè)的場(chǎng)景,TDSQL是真正經(jīng)歷過(guò)海量實(shí)際場(chǎng)景驗(yàn)證的產(chǎn)品?!?/p>
的確,自誕生起,騰訊云數(shù)據(jù)庫(kù)的身上就有一種“臨危受命”的使命感。
2007年之前,騰訊還在完全使用以MySQL數(shù)據(jù)庫(kù)為主的開源數(shù)據(jù)庫(kù),一些海量的數(shù)據(jù)分析和財(cái)務(wù)部分也還跑在Oracle數(shù)據(jù)庫(kù)上,據(jù)騰訊云數(shù)據(jù)庫(kù)專家工程師雷海林回憶,“那個(gè)時(shí)候沒(méi)有更多產(chǎn)品化,主要是培養(yǎng)技術(shù)團(tuán)隊(duì)的階段?!?/p>
然而,騰訊壯大的速度遠(yuǎn)遠(yuǎn)超過(guò)了開源數(shù)據(jù)庫(kù)的承受能力。
2006年,QQ用戶量增長(zhǎng)速度創(chuàng)造了歷史記錄,QQ同時(shí)在線人數(shù)逼近2000萬(wàn),開源的數(shù)據(jù)庫(kù)沒(méi)見過(guò)這么大的陣仗,市面上的開源數(shù)據(jù)庫(kù)和傳統(tǒng)商業(yè)數(shù)據(jù)庫(kù)沒(méi)有一家能夠支撐騰訊龐大的流量需求。
“增長(zhǎng)太快了,”騰訊云副總裁李綱告訴「甲子光年」,“當(dāng)時(shí)每天早上我們看報(bào)表,發(fā)現(xiàn)報(bào)表時(shí)間到了,數(shù)據(jù)卻沒(méi)有跑出來(lái),那就是已經(jīng)挑戰(zhàn)了集中式數(shù)據(jù)庫(kù)的系統(tǒng)極限?!?/p>
既然別人家沒(méi)有,那就自己造出來(lái)。
2007年,社交2.0爆發(fā),騰訊后臺(tái)的請(qǐng)求量和訪問(wèn)量都呈現(xiàn)爆發(fā)式增長(zhǎng),騰訊技術(shù)團(tuán)隊(duì)拍板決定自研數(shù)據(jù)庫(kù)。既然要做,就做最穩(wěn)定、最準(zhǔn)確的數(shù)據(jù)庫(kù),“7*24小時(shí)高可用、數(shù)據(jù)一筆不差、金額一分不差”成為了騰訊云數(shù)據(jù)庫(kù)TDSQL最初立下的要求。
此后,“臨危受命”成了騰訊云數(shù)據(jù)庫(kù)需要面對(duì)的家常便飯,這支小分隊(duì)也成為騰訊發(fā)展中每一場(chǎng)戰(zhàn)役背后的中堅(jiān)力量。
2009年,“QQ空間”大火,“QQ農(nóng)場(chǎng)”、“好友買賣”、“搶車位”等一票社交游戲上線,而每偷一棵菜,數(shù)據(jù)庫(kù)團(tuán)隊(duì)就需要改寫、擴(kuò)容,被人垂涎的是騰訊的流量,而更辛苦卻難以變現(xiàn)的部分,是騰訊的技術(shù)支撐;2010年,騰訊推出“開放戰(zhàn)略”,能夠和流量大廠一起吃肉,一時(shí)間各大小廠商蜂擁而至,今天的騰訊云真正有記錄意義的誕生就出在“開放平臺(tái)”上。
那是騰訊云數(shù)據(jù)庫(kù)第一次面對(duì)外部客戶,而對(duì)外,需要面對(duì)兩個(gè)挑戰(zhàn)。
一是從服務(wù)騰訊這個(gè)“大胖子業(yè)務(wù)”變成服務(wù)很多小業(yè)務(wù)疊加的中長(zhǎng)尾,而小業(yè)務(wù)的場(chǎng)景則更容易出問(wèn)題。
比如在數(shù)據(jù)庫(kù)的一致性方面,在數(shù)據(jù)不能丟、不能錯(cuò)的情況下,TDSQL需要提供一個(gè)更加完整的數(shù)據(jù)庫(kù)解決方案,讓對(duì)數(shù)據(jù)庫(kù)使用毫無(wú)經(jīng)驗(yàn)的使用者們實(shí)現(xiàn)“懶人模式”,同時(shí)不會(huì)出現(xiàn)數(shù)據(jù)錯(cuò)誤。
二是服務(wù)外部會(huì)涉及到錢,比如由于有些游戲會(huì)涉及到賬戶的數(shù)據(jù),開啟了自動(dòng)到賬的功能,怎么樣把關(guān)于錢的問(wèn)題做到零差錯(cuò),也是TDSQL需要面對(duì)的新挑戰(zhàn)。
這兩個(gè)難題雖然是挑戰(zhàn),但也成為騰訊云第一次面向外部客戶的必經(jīng)之路。此后,騰訊云數(shù)據(jù)庫(kù)跨過(guò)了解決數(shù)據(jù)高可用、快速?gòu)椥酝卣箚?wèn)題的階段、解決業(yè)務(wù)海量擴(kuò)展能力的階段,以及產(chǎn)品化輸出的階段。
時(shí)間軸來(lái)到2014年,騰訊走進(jìn)了擁抱云的時(shí)代。
2014年,微信推出了“紅包”功能,而在紅包上拿下的第一城,當(dāng)屬2015年春晚的“搖紅包”活動(dòng)。與“電商雙十一”可以提前預(yù)測(cè)流量、能夠做好準(zhǔn)備不同,“春晚?yè)u紅包”更具有突發(fā)性,一時(shí)間會(huì)增長(zhǎng)特別快,而且沒(méi)有非常準(zhǔn)確的預(yù)期,不像傳統(tǒng)IT能夠知道增量是什么樣子的。
據(jù)春晚結(jié)束后公開資料的統(tǒng)計(jì)數(shù)據(jù),當(dāng)時(shí)的峰值甚至超過(guò)了每秒20萬(wàn)筆,而這個(gè)數(shù)據(jù),是前期無(wú)論如何也預(yù)料不到的。
談起給微信紅包做數(shù)據(jù)庫(kù)后端支持的契機(jī),騰訊云數(shù)據(jù)庫(kù)技術(shù)總監(jiān)李躍森告訴「甲子光年」,“有一天,微信支付的總經(jīng)理去開會(huì)的時(shí)候問(wèn)我們,現(xiàn)在線上數(shù)據(jù)庫(kù)MySQL一定是扛不住這樣的流量了,能不能幫他們把這個(gè)事情搞定呢?”但那個(gè)時(shí)候,距離春節(jié)只有半年的準(zhǔn)備時(shí)間,李躍森和團(tuán)隊(duì)一共6個(gè)人,需要完成的是保守預(yù)測(cè)10倍的增長(zhǎng)。
結(jié)果很明顯,微信紅包一炮而紅。
征戰(zhàn)金融高地
自1970年IBM研究員E.F.Codd在論文中提出關(guān)系模型概念以來(lái),數(shù)據(jù)庫(kù)的發(fā)展可以被分為三個(gè)階段:
第一個(gè)階段,數(shù)據(jù)庫(kù)龍頭 Oracle、Informix、Sybase和SQL Server等公司相繼誕生,并在2000年形成了Oracle、Microsoft和IBM三巨頭的競(jìng)爭(zhēng)格局。
第二個(gè)階段,互聯(lián)網(wǎng)泡沫破滅之后,一批新的互聯(lián)網(wǎng)巨頭誕生。網(wǎng)絡(luò)需求推動(dòng)了數(shù)據(jù)量的爆發(fā)式增長(zhǎng),傳統(tǒng)集中式的數(shù)據(jù)庫(kù)明顯跟不上互聯(lián)網(wǎng)的巨大爆發(fā)量,分布式數(shù)據(jù)庫(kù)、互聯(lián)網(wǎng)巨頭開始?xì)⑷胄袠I(yè)競(jìng)爭(zhēng)。
第三個(gè)階段,隨著云計(jì)算的蓬勃發(fā)展,云數(shù)據(jù)庫(kù)成為新趨勢(shì)。2014年,Amazon推出Aurora,憑借低性能、高成本、高可用的優(yōu)勢(shì)吸引了大批客戶和尾隨者,并在之后的6年里走到了全球前三的陣營(yíng)中。2016年,此前對(duì)云計(jì)算持消極態(tài)度的甲骨文也開始向云計(jì)算進(jìn)軍。
在上述每一個(gè)階段的過(guò)渡之中,我們都可以看到一些行業(yè)格局的重構(gòu),發(fā)生列隊(duì)位次變化的痛點(diǎn)也可以歸從兩方面找到。
一是云化的趨勢(shì)。李躍森告訴「甲子光年」,云化和數(shù)據(jù)庫(kù)領(lǐng)域的云化不是未來(lái)的事情,而是已經(jīng)在路上了。2018年,全球云數(shù)據(jù)庫(kù)就已貢獻(xiàn)了104億美元,實(shí)現(xiàn)了68%的行業(yè)增長(zhǎng)貢獻(xiàn)。
二是分布式數(shù)據(jù)庫(kù)逐漸取代集中式數(shù)據(jù)庫(kù)的趨勢(shì)。潘安群向「甲子光年」解釋了集中式數(shù)據(jù)庫(kù)和分布式數(shù)據(jù)庫(kù)的不同:集中式數(shù)據(jù)庫(kù)可以被看作是一個(gè)非常高可用的小柜子,可以運(yùn)作十幾年不停機(jī),而且非常穩(wěn)定。但同樣,為了能讓它保持這種良好的運(yùn)作狀態(tài),其對(duì)應(yīng)的成本也就非常高,比如需要好幾層的電源,可以保證他不斷電。
但問(wèn)題是,柜子的容量是有限的,到了系統(tǒng)的極限就會(huì)出現(xiàn)問(wèn)題。而在銀行的場(chǎng)景中,業(yè)務(wù)量并沒(méi)有邊界感,還對(duì)成本控制提出了要求,那么集中式的理念就是行不通的。
相反,在分布式的理念中,硬件(小柜子)被默認(rèn)為是不可靠的,但總有一個(gè)plan B存在,那么,即使出現(xiàn)故障,也可以快速實(shí)現(xiàn)切換,可以把風(fēng)險(xiǎn)分?jǐn)偟綐O小,比如在TDSQL給微眾銀行搭建數(shù)據(jù)庫(kù)的案例中,也正是在這種分散的方式,解決了微眾銀行穩(wěn)定性和成本的博弈。
無(wú)疑,在今天的國(guó)產(chǎn)數(shù)據(jù)庫(kù)探索中,TDSQL正好踩住了云化、分布式的趨勢(shì),而更具有突破性意義的是,TDSQL真正從需求導(dǎo)向走向目標(biāo)導(dǎo)向的節(jié)點(diǎn),剛好對(duì)準(zhǔn)了金融場(chǎng)景這個(gè)“最難啃的硬骨頭”。
對(duì)于數(shù)據(jù)庫(kù)來(lái)說(shuō),金融是難攻下來(lái)的高地,卻也是好盤踞的堡壘。在春晚紅包的同一年,騰訊云TDSQL接到了一個(gè)大任務(wù)——給微眾銀行提供數(shù)據(jù)庫(kù)支持。
用潘安群的話來(lái)說(shuō),做金融領(lǐng)域是機(jī)緣巧合,對(duì)于TDSQL來(lái)說(shuō)是有價(jià)值的挑戰(zhàn),但同時(shí)也讓人膽戰(zhàn)心驚。要知道,金融產(chǎn)品是所有產(chǎn)品中要求最苛刻的,而銀行又是金融產(chǎn)品中要求最高的。
在互聯(lián)網(wǎng)場(chǎng)景中,卡頓會(huì)影響使用體驗(yàn),但不會(huì)造成巨大損失。而在金融場(chǎng)景中則風(fēng)險(xiǎn)更大,舉個(gè)例子,當(dāng)用戶購(gòu)買理財(cái)產(chǎn)品時(shí),某個(gè)時(shí)間點(diǎn)前后的收益會(huì)出現(xiàn)很大的差異,所以一旦出現(xiàn)卡頓的情況,將會(huì)造成嚴(yán)重的損失。
除了滿足自身的業(yè)務(wù)需求之外,由于銀行的行業(yè)特殊性,并不存在試錯(cuò)的可能性。在微眾銀行之前,并沒(méi)有銀行有過(guò)這樣的嘗試,這第一次也是唯一一次的機(jī)會(huì)。潘安群告訴「甲子光年」,“他們(微眾銀行)前期就告訴我們,故障半小時(shí)已經(jīng)是非常嚴(yán)重的級(jí)別。”
那時(shí),微眾銀行剛成立不久,在國(guó)產(chǎn)化的浪潮中,作為國(guó)內(nèi)首家互聯(lián)網(wǎng)銀行,微眾期待把普惠金融的IT架構(gòu)做好,希望能夠改變傳統(tǒng)銀行的單業(yè)務(wù)成本高的問(wèn)題,提出了既能夠服務(wù)海量用戶,又可以把每個(gè)用戶的成本控制到很低的范圍內(nèi)的要求。
在今天看來(lái),微眾的案例已經(jīng)取得了勝利,可以被認(rèn)為是代表了整個(gè)銀行界IT分布式架構(gòu)的標(biāo)準(zhǔn)。
微眾銀行對(duì)于機(jī)房的部署是,同城有5個(gè)機(jī)房、異地有2個(gè)機(jī)房,如果按照傳統(tǒng)的架構(gòu),同城的5個(gè)機(jī)房做成1主4備,其余的4個(gè)機(jī)房就會(huì)造成資源浪費(fèi),而在TDSQL分布式架構(gòu)中,多個(gè)數(shù)據(jù)庫(kù)實(shí)例的主備節(jié)點(diǎn)交叉部署在五個(gè)機(jī)房,這樣任何一個(gè)機(jī)房故障都只會(huì)影響1/5的流量,且任何一個(gè)機(jī)房故障不會(huì)造成全局系統(tǒng)性宕機(jī)的風(fēng)險(xiǎn)。
簡(jiǎn)言之,既保證了資源有效利用,又解決了穩(wěn)定性的問(wèn)題。
它的IT架構(gòu)可以把成本控制得非常低,「甲子光年」也從TDSQL團(tuán)隊(duì)獲悉,現(xiàn)在大部分銀行在做分布式的時(shí)候,基本上都是在用這種架構(gòu),比如華通銀行在構(gòu)建底層架構(gòu)時(shí),就直接聯(lián)系了TDSQL,希望可以用這個(gè)架構(gòu)構(gòu)建自己的核心系統(tǒng)。
但在當(dāng)時(shí),這樣的任務(wù)對(duì)于TDSQL團(tuán)隊(duì)來(lái)說(shuō),更是一場(chǎng)讓人眉頭緊鎖的拉鋸賽。
這是TDSQL團(tuán)隊(duì)第一次真正意義上走到需求了前面。走出騰訊內(nèi)部的溫床,對(duì)剛剛成熟的TDSQL來(lái)說(shuō)是探索未知,但也讓TDSQL變成了更好的自己。
首先,走進(jìn)無(wú)人區(qū)的難點(diǎn)在于未知。
對(duì)于新籌備的互聯(lián)網(wǎng)銀行來(lái)說(shuō),交易量、未來(lái)業(yè)務(wù)的發(fā)展程度都未可知,對(duì)于TDSQL來(lái)說(shuō),分布式能達(dá)成成本控制的程度、銀行監(jiān)管的要求和新業(yè)務(wù)面對(duì)拓展性、一致性和監(jiān)管要求的挑戰(zhàn)也未可知。而分布式數(shù)據(jù)庫(kù)是現(xiàn)階段金融場(chǎng)景能夠給出的最好回答。
其次,外部的歷練讓TDSQL變成了更好的自己。
在騰訊內(nèi)部使用時(shí),一旦出現(xiàn)問(wèn)題,TDSQL可以給自己家做做維修,但進(jìn)入銀行場(chǎng)景,由于內(nèi)外網(wǎng)隔離,別人家的屋子沒(méi)法干涉,也就需要銀行自己解決,這就對(duì)TDSQL團(tuán)隊(duì)提出了更高的要求,去打磨出更好的產(chǎn)品。
另外,走出家門,就不再被家長(zhǎng)“寵著”了。潘安群告訴「甲子光年」,“給客戶做數(shù)據(jù)庫(kù)的時(shí)候,很多也是未知的領(lǐng)域,做的不好的話,不是在自己家改一改就好了,人家真的會(huì)罵你?!?/p>
在和微眾銀行合作的初期,由于雙方都是第一次嘗試金融場(chǎng)景里的分布式架構(gòu),也還經(jīng)歷過(guò)“TDSQL覺得微眾不懂互聯(lián)網(wǎng),而微眾覺得TDSQL不懂銀行”的磨合期。
但磨合過(guò)后的成效也在今天得以顯現(xiàn)。目前,微眾銀行基于TDSQL搭建的分布式銀行核心系統(tǒng)可以做到7*24小時(shí)全天候不間斷服務(wù)。已成功服務(wù)超過(guò)2.5億客戶,實(shí)現(xiàn)年均日交易3.6億筆,單日交易峰值近6億筆,最高TPS(每秒傳輸?shù)氖挛锾幚韨€(gè)數(shù))達(dá)到10 萬(wàn)+,也為微粒貸、微業(yè)貸等業(yè)務(wù)的數(shù)百個(gè)核心系統(tǒng)提供了堅(jiān)實(shí)支撐。
如果過(guò)去,TDSQL只是站在金融場(chǎng)景下的一只小白鼠,那么今天,對(duì)于微眾銀行和TDSQL來(lái)說(shuō),更是互相都懂了。
實(shí)際上,TDSQL在今天仍可以成為前排選手,不變的是面對(duì)無(wú)人區(qū)時(shí),仍敢于向前的勇氣。
“換心”傳統(tǒng)深水區(qū)
2013年,曾發(fā)生過(guò)一件讓使用國(guó)外信息軟硬件的中國(guó)公司感到警鈴大作的事。
當(dāng)年6月,前中情局(CIA)職員愛德華·斯諾登將兩份絕密資料交給英國(guó)《衛(wèi)報(bào)》和美國(guó)《華盛頓郵報(bào)》,資料內(nèi)容曝光了美國(guó)于2007啟動(dòng)的一項(xiàng)秘密項(xiàng)目,它要求電信巨頭威瑞森公司必須每天提交數(shù)百萬(wàn)用戶的通話記錄。
根據(jù)美國(guó)時(shí)代周刊當(dāng)時(shí)的報(bào)道,美國(guó)政府對(duì)公眾隱私的監(jiān)控可能比媒體報(bào)道的更深入。FBI和NSA監(jiān)視范圍廣泛,其挖掘了包括微軟、雅虎、谷歌、Facebook、PalTalk、YouTube、Skype、AOL、蘋果等等各大技術(shù)公司的數(shù)據(jù)。
這就是轟動(dòng)一時(shí)的“棱鏡門”事件。
該事件一出,使用數(shù)據(jù)庫(kù)的中國(guó)機(jī)構(gòu)就開始轉(zhuǎn)向?qū)ふ覈?guó)產(chǎn)數(shù)據(jù)庫(kù)產(chǎn)品,而令人痛心疾首的是,就當(dāng)時(shí)的產(chǎn)品競(jìng)爭(zhēng)力而言,國(guó)產(chǎn)數(shù)據(jù)庫(kù)與 Oracle 相差巨大。
然而,7年后的今天,國(guó)產(chǎn)數(shù)據(jù)庫(kù)的門前正在點(diǎn)燃兩門禮炮。
第一炮,信息爆發(fā)式增長(zhǎng)刺激數(shù)據(jù)庫(kù)需求。
根據(jù)2018年11月IDC白皮書《Data Age 2025》,全球數(shù)據(jù)量總和將從2018年的33ZB增至2025年的 175ZB。與此同時(shí),IDC數(shù)據(jù)同樣指出,到2025年,全球49%的已存儲(chǔ)數(shù)據(jù)將會(huì)存在公共云中。這意味著,分布式數(shù)據(jù)庫(kù)和云數(shù)據(jù)中心正在成為數(shù)據(jù)新的存儲(chǔ)方式。
高增長(zhǎng)必然會(huì)帶動(dòng)強(qiáng)需求,需求導(dǎo)向的市場(chǎng)狀態(tài)將會(huì)刺激資本、學(xué)界、國(guó)家等多層面的關(guān)注,也就是我們前文提到的火熱狀態(tài)發(fā)生的根源所在。所以,數(shù)據(jù)庫(kù)的布道者們更加會(huì)為之傾注心力。
2010-2025年全球數(shù)據(jù)規(guī)模量 資料來(lái)源:IDC,數(shù)據(jù)時(shí)代2025,興業(yè)證券經(jīng)濟(jì)與金融研究院
第二炮,我國(guó)正在步入加快推進(jìn)基礎(chǔ)科技創(chuàng)新與安全可控時(shí)代,這將推動(dòng)數(shù)據(jù)庫(kù)國(guó)產(chǎn)化率的快速提升。
根據(jù)IDC預(yù)測(cè),到2024年中國(guó)關(guān)系型數(shù)據(jù)庫(kù)軟件市場(chǎng)規(guī)模將達(dá)到38.2億美元,未來(lái)5年整體市場(chǎng)年復(fù)合增長(zhǎng)率為23.3%,與這樣的預(yù)期增長(zhǎng)數(shù)字相伴的,是與時(shí)代攜手的共同前行,大的機(jī)遇和發(fā)展空間。
而此刻正是TDSQL突破蠶繭、完成蝶變的重要時(shí)間節(jié)點(diǎn)。
微眾銀行的戰(zhàn)役告一段落之后,TDSQL并沒(méi)有離開金融云數(shù)據(jù)庫(kù)的賽場(chǎng),而是在向深水區(qū)更近了一步。他們把戰(zhàn)役的矛頭對(duì)準(zhǔn)傳統(tǒng)銀行,其中兩個(gè)典型的案例分別是張家港農(nóng)商行(以下簡(jiǎn)稱張家港行)和平安銀行。
相比微眾銀行需要研發(fā)新的系統(tǒng),傳統(tǒng)銀行的數(shù)據(jù)改造難度更大。如果微眾銀行只是一片尚未開荒的新土壤,傳統(tǒng)銀行可以被看作是難度更大的深水區(qū)。
兩者的不同點(diǎn)在于,傳統(tǒng)銀行有歷史包袱,改造并不只是在原有的系統(tǒng)上搭建新東西,而更是拆除、歸零,需要將老系統(tǒng)的數(shù)據(jù)平穩(wěn)過(guò)渡到新系統(tǒng)中,還需要在銀保監(jiān)會(huì)要求的時(shí)間內(nèi)完成變更。
同樣,在此之前,國(guó)內(nèi)沒(méi)有一個(gè)傳統(tǒng)銀行或金融機(jī)構(gòu)把核心系統(tǒng)放在國(guó)內(nèi)的分布式數(shù)據(jù)庫(kù)上,也就沒(méi)有前車之鑒可以作為參考。擺在騰訊云面前的挑戰(zhàn)是,能夠突破原有老式框架、銀行系統(tǒng)的監(jiān)管以及和銀行方面的磨合問(wèn)題。
第一,突破原有集中式數(shù)據(jù)庫(kù)使用上的問(wèn)題。
在與騰訊云TDSQL合作之前,張家港農(nóng)商行的老核心系統(tǒng)使用的是國(guó)外商業(yè)數(shù)據(jù)庫(kù)Sybase。隨著業(yè)務(wù)量的增長(zhǎng),集中式數(shù)據(jù)庫(kù)常常跟不上請(qǐng)求的速度,出現(xiàn)卡頓、運(yùn)行緩慢的問(wèn)題,張家港行便把目光投向了分布式數(shù)據(jù)庫(kù),TDSQL剛巧是選項(xiàng)之一。
也許是傳統(tǒng)銀行嚴(yán)謹(jǐn)性的把控,在張家港行的數(shù)據(jù)庫(kù)正式上線之前,其實(shí)開發(fā)了兩套系統(tǒng),一套是基于TDSQL,一套是傳統(tǒng)集中式數(shù)據(jù)庫(kù)。經(jīng)過(guò)對(duì)兩套系統(tǒng)的性能、可用性和成本的對(duì)比,張家港行選擇了以TDSQL的分布式架構(gòu)作為試用,而集中式的作為備胎,以防不時(shí)之需。
這個(gè)過(guò)程中,也出現(xiàn)了由于集中式和分布式數(shù)據(jù)庫(kù)在使用上的不同,導(dǎo)致分布式呈現(xiàn)出數(shù)據(jù)過(guò)低、效果也比較差的情況。在這樣的數(shù)據(jù)下,張家港行也向分布式提出質(zhì)疑,“分布式到底靠譜嗎?”
得知這個(gè)消息,作為TDSQL數(shù)據(jù)庫(kù)專家的張文就跑到張家港待了足足一個(gè)多月,讓張家港行掌握了分布式數(shù)據(jù)庫(kù)的正確使用方法,并贏得了行方的信任,促使數(shù)據(jù)庫(kù)更平穩(wěn)的運(yùn)行。
直至2019年8月,項(xiàng)目行將結(jié)束之時(shí),張文在朋友圈里記錄了這樣一段文字:
“記得年初第一次來(lái)張家港銀行,那時(shí)開發(fā)人員對(duì)分布式數(shù)據(jù)庫(kù)根本無(wú)從下手,核心系統(tǒng)改造當(dāng)時(shí)看來(lái)還是天方夜譚。再看今天,全行核心業(yè)務(wù)跑在分布式架構(gòu)下穩(wěn)如磐石,性能輕松碾壓國(guó)內(nèi)同等規(guī)模銀行,軟硬件綜合成本降低75%。
張家港行的分布式改造實(shí)際上是銀行的一場(chǎng)換‘心’行動(dòng),而除了張家港行,在此之前國(guó)內(nèi)尚未有一家銀行冒這個(gè)險(xiǎn)?!?/p>
而那個(gè)集中式數(shù)據(jù)庫(kù)的備胎,放在后備箱待了一年也沒(méi)派上用場(chǎng)。
第二,銀行的業(yè)務(wù)特殊性問(wèn)題。
做金融級(jí)數(shù)據(jù)庫(kù)的最大挑戰(zhàn)就在于行業(yè)特殊性,一旦數(shù)據(jù)庫(kù)出現(xiàn)癱瘓,可能就會(huì)引發(fā)銀行整個(gè)系統(tǒng)都無(wú)法正常運(yùn)作的連鎖反應(yīng),這對(duì)銀行和用戶來(lái)說(shuō)帶來(lái)的損失不可估量。
如果經(jīng)驗(yàn)不足,真誠(chéng)和實(shí)力就是最打動(dòng)人的武器。
在張家港行的案例中,TDSQL通過(guò)銀行科技部門以及騰訊、長(zhǎng)亮科技開發(fā)團(tuán)隊(duì)三方一起合作,經(jīng)歷了半年的模擬測(cè)試演練,把可以想到的或可以檢索到的業(yè)內(nèi)故障的場(chǎng)景盡可能模擬一遍,以及多輪性能測(cè)試的數(shù)據(jù),并形成了比較完整的資料和文檔。
最終,三方合作的默契度和決心獲得了各方的認(rèn)可。
當(dāng)談及做張家港項(xiàng)目的初心,張文說(shuō),“我們并不覺得TDSQL是為張家港銀行或者哪個(gè)銀行定制的功能,在做銀行和to B上,我們沒(méi)有國(guó)外的集中式廠商做的時(shí)間久,我們是抱著虛心的態(tài)度進(jìn)行場(chǎng)景適配,達(dá)成有效的溝通,讓三方都覺得是很默契的合作?!?/p>
沒(méi)有明確的發(fā)心,單純想把事情做好,也許才是能夠做好的起點(diǎn)和終點(diǎn)。
第三,在每一份溝通與合作中,最重要的就是信任和磨合的問(wèn)題。
于對(duì)外經(jīng)驗(yàn)相對(duì)缺乏的TDSQL團(tuán)隊(duì)來(lái)說(shuō),如何讓帶著產(chǎn)品經(jīng)理思維的鵝與銀行打好配合,是前路是否好走的關(guān)鍵。
與張家港行相似,平安銀行一直以來(lái)在技術(shù)上的重視,其對(duì)人力、交付和SOA的響應(yīng)度都有更高的要求。更重要的是,平安銀行要做的,是業(yè)務(wù)首次將銀行核心系統(tǒng)從傳統(tǒng)集中式大型機(jī)下移。這無(wú)疑又是一次前無(wú)古人的突破嘗試。
平安銀行對(duì)TDSQL的放心,更來(lái)自騰訊云團(tuán)隊(duì)對(duì)項(xiàng)目的全程保駕護(hù)航。比如,給平安銀行定制一整套的交付流程、每周都會(huì)進(jìn)行保障、在項(xiàng)目上線的頭兩周和上線之后的后兩周是24小時(shí)進(jìn)行相應(yīng)的、投產(chǎn)的三天,24小時(shí)里會(huì)有6個(gè)工作人員一直在現(xiàn)場(chǎng)。
讓騰訊云數(shù)據(jù)庫(kù)專家工程師王輝印象深刻的是一次機(jī)型采購(gòu)的事件。當(dāng)時(shí),平安銀行采購(gòu)了兩套機(jī)型,在測(cè)試的過(guò)程中,戴爾機(jī)型的延時(shí)偏大,聯(lián)想機(jī)型偏小,而未經(jīng)過(guò)分析的平安銀行同事直接沖到TDSQL的會(huì)議室說(shuō)“你們的產(chǎn)品存在問(wèn)題”。
“當(dāng)時(shí)他們很著急,我們希望對(duì)方把情況講清楚,但是他們不愿意花時(shí)間讓我們了解情況?!边@也讓看起來(lái)溫文爾雅的王輝有點(diǎn)生氣,“我想我是做乙方的,怎么樣都要忍住,就到外面院子里轉(zhuǎn)了一下,買了瓶飲料壓了壓火,然后和這個(gè)同事搞清楚了,問(wèn)題在于戴爾和聯(lián)想的機(jī)器不一樣。”
問(wèn)題解決了之后,兩人一起吃了飯,并約定好這個(gè)項(xiàng)目成功之后一定要喝酒。
后來(lái)呢?就真的喝了酒。
從微眾銀行到平安銀行,對(duì)于金融場(chǎng)景這個(gè)最難啃的“硬骨頭”,今天的TDSQL已經(jīng)摸了個(gè)遍。
誰(shuí)的大機(jī)會(huì)?
與國(guó)產(chǎn)化浪潮對(duì)應(yīng)的,是巨大的市場(chǎng)空間。
過(guò)去十年來(lái),國(guó)產(chǎn)數(shù)據(jù)庫(kù)的市占率從2009年4.0%增長(zhǎng)至2017年的14.26%,增長(zhǎng)超過(guò)3倍。然而,數(shù)據(jù)庫(kù)的國(guó)產(chǎn)化率仍處于較低水平,根據(jù)興業(yè)證券的預(yù)測(cè),在保守、中性與樂(lè)觀假設(shè)下,數(shù)據(jù)庫(kù)國(guó)產(chǎn)化的潛在市場(chǎng)空間分別為108億、268億和428億元。
機(jī)會(huì)之下,這無(wú)疑是國(guó)產(chǎn)數(shù)據(jù)庫(kù)的逆襲時(shí)刻。能夠抓住機(jī)會(huì)的人,更應(yīng)該懂得機(jī)遇與競(jìng)爭(zhēng)同在,常有犬牙相搏,競(jìng)者廝殺。面向未來(lái),騰訊云數(shù)據(jù)庫(kù)將云原生數(shù)據(jù)庫(kù)【1】和高速網(wǎng)絡(luò)設(shè)備的超融合【2】?jī)纱筇攸c(diǎn)有機(jī)結(jié)合,在騰訊云副總裁李綱看來(lái),能夠與賽道中的伙伴們同行是一件幸事。
在今天,我們或許應(yīng)該對(duì)“勝利者”有新的定義,此時(shí)此刻的階段性號(hào)角,為騰訊吹響,但也不只為騰訊吹響。但清晰可見的是,在這條關(guān)于國(guó)產(chǎn)自主、關(guān)于云、關(guān)于數(shù)據(jù)庫(kù)的探索道路上,騰訊擁有的是伙伴、團(tuán)隊(duì)和沃土。
從伙伴上來(lái)看,從B到C,騰訊未變的是產(chǎn)品經(jīng)理的服務(wù)意識(shí)和生態(tài)聯(lián)動(dòng)。
首先,在騰訊的沃土上,有眾多子行業(yè):政務(wù)、教育、文旅、工業(yè)、醫(yī)療、交通、金融、智慧建筑等等,在這個(gè)過(guò)程中會(huì)積累非常多的客戶,這些客戶在公有云上的發(fā)展也會(huì)讓TDSQL有充分的積累。
其次,TDSQL和一些頭部關(guān)系非常好的客戶建立聯(lián)動(dòng)機(jī)制,這些客戶的訴求不僅僅是享受提供的服務(wù),更多是可以和騰訊一起探索更多的未知。
再次,在騰訊的生態(tài)上下游中,包括集成商、硬件、硬件的服務(wù)商和線下的各種支付和運(yùn)營(yíng)都能夠和騰訊一起,以生態(tài)的數(shù)據(jù)庫(kù)形象做好客戶的服務(wù)。
李綱也向「甲子光年」表示了他們對(duì)客戶的態(tài)度,“即使未來(lái)你不用了,合同不簽約了,你不用我們的維保服務(wù)了,你自己的運(yùn)營(yíng)人員加上生態(tài)的支持,你還是可以讓你的數(shù)據(jù)庫(kù)很穩(wěn)定,問(wèn)題不是很大?!?/p>
從團(tuán)隊(duì)上來(lái)看,騰訊同樣穩(wěn)定和專業(yè)。
潘安群聊起加入騰訊云的出發(fā)點(diǎn)時(shí)說(shuō),“我們的發(fā)心很單純,就是把事情做好,整個(gè)團(tuán)隊(duì)不會(huì)有太多的外部壓力和太多想法?!币苍S正是出于這份純粹,從2003年到今天,和李綱一起奮戰(zhàn)在一線的主創(chuàng)團(tuán)隊(duì)成員們幾乎都還在。
此外,騰訊云數(shù)據(jù)庫(kù)也注重人才的培養(yǎng),TDSQL向「甲子光年」表示,TDSQL自2003年開始,就在內(nèi)部培養(yǎng)了很多人才,自己培養(yǎng)的專家在騰訊的專家團(tuán)隊(duì)里占比非常高。而且,騰訊還會(huì)從高校或者海外數(shù)據(jù)庫(kù)的企業(yè)引進(jìn)一些高端的人才,比如TDSQL有分散在美國(guó)、北京、杭州、上海、深圳的專家委員會(huì),定期會(huì)有數(shù)據(jù)庫(kù)技術(shù)探索群來(lái)對(duì)前沿技術(shù)問(wèn)題進(jìn)行交流。
前文提到的專家工程師王輝就來(lái)自O(shè)racle數(shù)據(jù)庫(kù),選擇騰訊,正是出于此前在和騰訊的合作中,對(duì)TDSQL團(tuán)隊(duì)的認(rèn)可。
而更多的,生長(zhǎng)于騰訊自有的這塊沃土上,從不缺鍛煉的機(jī)會(huì)、勇敢的能力和大廠的底氣。
在騰訊內(nèi)部有一個(gè)不成文的規(guī)定,即新鮮出爐的數(shù)據(jù)庫(kù)產(chǎn)品先是部門自己用,然后放到公司內(nèi)部用,最后完全沒(méi)有問(wèn)題才會(huì)推到外面,騰訊內(nèi)部多樣的產(chǎn)品線和大量復(fù)雜的業(yè)務(wù)場(chǎng)景給TDSQL提供了不斷打磨更好產(chǎn)品的沃土。
其次,關(guān)于騰訊的開放、包容以及持續(xù)支持的態(tài)度,是被TDSQL團(tuán)隊(duì)多次提到的工作體驗(yàn)。而這,也被公認(rèn)為是團(tuán)隊(duì)自發(fā)產(chǎn)生主動(dòng)性的原因。正是騰訊這個(gè)大家庭耐心的投入、歷練的機(jī)會(huì)和上層的支持與肯定,讓發(fā)展初期宛如嬰孩的騰訊云數(shù)據(jù)庫(kù)擁有了完美的童年。
在今天,TDSQL長(zhǎng)大了,也是時(shí)候可以獨(dú)當(dāng)一面了。
那么,未來(lái)的困難還有多少呢?
如果說(shuō)初期還有一些經(jīng)驗(yàn)可循,今天的騰訊云數(shù)據(jù)庫(kù)向無(wú)人區(qū)深處更進(jìn)了一步。如何撥開迷霧,認(rèn)清前路,保證不會(huì)偏航,是成熟的TDSQL需要面對(duì)的新問(wèn)題。
而從未改變過(guò)的是,每天早上,在騰訊云數(shù)據(jù)庫(kù)的辦公樓下,依舊格子衫攢動(dòng)。
原文標(biāo)題:誰(shuí)在國(guó)產(chǎn)數(shù)據(jù)庫(kù)的無(wú)人區(qū)開荒? | 甲子光年
文章出處:【微信公眾號(hào):甲子光年】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
責(zé)任編輯:haq
-
操作系統(tǒng)
+關(guān)注
關(guān)注
37文章
6856瀏覽量
123437 -
數(shù)據(jù)庫(kù)
+關(guān)注
關(guān)注
7文章
3827瀏覽量
64514
原文標(biāo)題:誰(shuí)在國(guó)產(chǎn)數(shù)據(jù)庫(kù)的無(wú)人區(qū)開荒? | 甲子光年
文章出處:【微信號(hào):jazzyear,微信公眾號(hào):甲子光年】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論