從一開始的Google搜索,到現(xiàn)在的聊天機器人、大數(shù)據(jù)風(fēng)控、證券投資、智能醫(yī)療、自適應(yīng)教育、推薦系統(tǒng),無一不跟知識圖譜相關(guān)。
隨著移動互聯(lián)網(wǎng)的發(fā)展,萬物互聯(lián)成為了可能,這種互聯(lián)所產(chǎn)生的數(shù)據(jù)也在爆發(fā)式地增長,而且這些數(shù)據(jù)恰好可以作為分析關(guān)系的有效原料。如果說以往的智能分析專注在每一個個體上,在移動互聯(lián)網(wǎng)時代則除了個體,這種個體之間的關(guān)系也必然成為我們需要深入分析的很重要一部分。 在一項任務(wù)中,只要有關(guān)系分析的需求,知識圖譜就“有可能”派的上用場。
知識圖譜的表示
知識圖譜應(yīng)用的前提是已經(jīng)構(gòu)建好了知識圖譜,也可以把它認為是一個知識庫。這也是為什么它可以用來回答一些搜索相關(guān)問題的原因,比如在Google搜索引擎里輸入“Who is the wife of Bill Gates?”,我們直接可以得到答案-“Melinda Gates”。這是因為我們在系統(tǒng)層面上已經(jīng)創(chuàng)建好了一個包含“Bill Gates”和“Melinda Gates”的實體以及他倆之間關(guān)系的知識庫。所以,當我們執(zhí)行搜索的時候,就可以通過關(guān)鍵詞提取("Bill Gates", "Melinda Gates", "wife")以及知識庫上的匹配可以直接獲得最終的答案。這種搜索方式跟傳統(tǒng)的搜索引擎是不一樣的,一個傳統(tǒng)的搜索引擎它返回的是網(wǎng)頁、而不是最終的答案,所以就多了一層用戶自己篩選并過濾信息的過程。
在現(xiàn)實世界中,實體和關(guān)系也會擁有各自的屬性,比如人可以有“姓名”和“年齡”。當一個知識圖譜擁有屬性時,我們可以用屬性圖(Property Graph)來表示。下面的圖表示一個簡單的屬性圖。李明和李飛是父子關(guān)系,并且李明擁有一個138開頭的電話號,這個電話號開通時間是2018年,其中2018年就可以作為關(guān)系的屬性。類似的,李明本人也帶有一些屬性值比如年齡為25歲、職位是總經(jīng)理等。
這種屬性圖的表達很貼近現(xiàn)實生活中的場景,也可以很好地描述業(yè)務(wù)中所包含的邏輯。除了屬性圖,知識圖譜也可以用RDF來表示,它是由很多的三元組(Triples)來組成。RDF在設(shè)計上的主要特點是易于發(fā)布和分享數(shù)據(jù),但不支持實體或關(guān)系擁有屬性,如果非要加上屬性,則在設(shè)計上需要做一些修改。目前來看,RDF主要還是用于學(xué)術(shù)的場景,在工業(yè)界我們更多的還是采用圖數(shù)據(jù)庫(比如用來存儲屬性圖)的方式。感興趣的讀者可以參考RDF的相關(guān)文獻,在文本里不多做解釋。
知識抽取
知識圖譜的構(gòu)建是后續(xù)應(yīng)用的基礎(chǔ),而且構(gòu)建的前提是需要把數(shù)據(jù)從不同的數(shù)據(jù)源中抽取出來。對于垂直領(lǐng)域的知識圖譜來說,它們的數(shù)據(jù)源主要來自兩種渠道:一種是業(yè)務(wù)本身的數(shù)據(jù),這部分數(shù)據(jù)通常包含在公司內(nèi)的數(shù)據(jù)庫表并以結(jié)構(gòu)化的方式存儲;另一種是網(wǎng)絡(luò)上公開、抓取的數(shù)據(jù),這些數(shù)據(jù)通常是以網(wǎng)頁的形式存在所以是非結(jié)構(gòu)化的數(shù)據(jù)。
前者一般只需要簡單預(yù)處理即可以作為后續(xù)AI系統(tǒng)的輸入,但后者一般需要借助于自然語言處理等技術(shù)來提取出結(jié)構(gòu)化信息。比如在上面的搜索例子里,Bill Gates和Malinda Gate的關(guān)系就可以從非結(jié)構(gòu)化數(shù)據(jù)中提煉出來,比如維基百科等數(shù)據(jù)源。
信息抽取的難點在于處理非結(jié)構(gòu)化數(shù)據(jù)。在下面的圖中,我們給出了一個實例。左邊是一段非結(jié)構(gòu)化的英文文本,右邊是從這些文本中抽取出來的實體和關(guān)系。在構(gòu)建類似的圖譜過程當中,主要涉及以下幾個方面的自然語言處理技術(shù):
a. 實體命名識別(Name Entity Recognition)
b. 關(guān)系抽取(Relation Extraction)
c. 實體統(tǒng)一(Entity Resolution)
d. 指代消解(Coreference Resolution)
知識圖譜的存儲
知識圖譜主要有兩種存儲方式:一種是基于RDF的存儲;另一種是基于圖數(shù)據(jù)庫的存儲。它們之間的區(qū)別如下圖所示。RDF一個重要的設(shè)計原則是數(shù)據(jù)的易發(fā)布以及共享,圖數(shù)據(jù)庫則把重點放在了高效的圖查詢和搜索上。其次,RDF以三元組的方式來存儲數(shù)據(jù)而且不包含屬性信息,但圖數(shù)據(jù)庫一般以屬性圖為基本的表示形式,所以實體和關(guān)系可以包含屬性,這就意味著更容易表達現(xiàn)實的業(yè)務(wù)場景。
根據(jù)最新的統(tǒng)計(2018年上半年),圖數(shù)據(jù)庫仍然是增長最快的存儲系統(tǒng)。相反,關(guān)系型數(shù)據(jù)庫的增長基本保持在一個穩(wěn)定的水平。同時,我們也列出了常用的圖數(shù)據(jù)庫系統(tǒng)以及他們最新使用情況的排名。 其中Neo4j系統(tǒng)目前仍是使用率最高的圖數(shù)據(jù)庫,它擁有活躍的社區(qū),而且系統(tǒng)本身的查詢效率高,但唯一的不足就是不支持準分布式。相反,OrientDB和JanusGraph(原Titan)支持分布式,但這些系統(tǒng)相對較新,社區(qū)不如Neo4j活躍,這也就意味著使用過程當中不可避免地會遇到一些刺手的問題。如果選擇使用RDF的存儲系統(tǒng),Jena或許一個比較不錯的選擇。
知識圖譜在其他行業(yè)中的應(yīng)用
除了金融領(lǐng)域,知識圖譜的應(yīng)用可以涉及到很多其他的行業(yè),包括醫(yī)療、教育、證券投資、推薦等等。其實,只要有關(guān)系存在,則有知識圖譜可發(fā)揮價值的地方。 在這里簡單舉幾個垂直行業(yè)中的應(yīng)用。
比如對于教育行業(yè),我們經(jīng)常談?wù)搨€性化教育、因材施教的理念。其核心在于理解學(xué)生當前的知識體系,而且這種知識體系依賴于我們所獲取到的數(shù)據(jù)比如交互數(shù)據(jù)、評測數(shù)據(jù)、互動數(shù)據(jù)等等。為了分析學(xué)習(xí)路徑以及知識結(jié)構(gòu),我們則需要針對于一個領(lǐng)域的概念知識圖譜,簡單來講就是概念拓撲結(jié)構(gòu)。在下面的圖中,我們給出了一個非常簡單的概念圖譜:比如為了學(xué)習(xí)邏輯回歸則需要先理解線性回歸;為了學(xué)習(xí)CNN,得對神經(jīng)網(wǎng)絡(luò)有所理解等等。所有對學(xué)生的評測、互動分析都離不開概念圖譜這個底層的數(shù)據(jù)。
在證券領(lǐng)域,我們經(jīng)常會關(guān)心比如“一個事件發(fā)生了,對哪些公司產(chǎn)生什么樣的影響?” 比如有一個負面消息是關(guān)于公司1的高管,而且我們知道公司1和公司2有種很密切的合作關(guān)系,公司2有個主營產(chǎn)品是由公司3提供的原料基礎(chǔ)上做出來的。
其實有了這樣的一個知識圖譜,我們很容易回答哪些公司有可能會被這次的負面事件所影響。當然,僅僅是“有可能”,具體會不會有強相關(guān)性必須由數(shù)據(jù)來驗證。所以在這里,知識圖譜的好處就是把我們所需要關(guān)注的范圍很快給我們?nèi)Χā=酉聛淼膯栴}會更復(fù)雜一些,比如既然我們知道公司3有可能被這次事件所影響,那具體影響程度有多大? 對于這個問題,光靠知識圖譜是很難回答的,必須要有一個影響模型、以及需要一些歷史數(shù)據(jù)才能在知識圖譜中做進一步推理以及計算。
實踐上的幾點建議
首先,知識圖譜是一個比較新的工具,它的主要作用還是在于分析關(guān)系,尤其是深度的關(guān)系。所以在業(yè)務(wù)上,首先要確保它的必要性,其實很多問題可以用非知識圖譜的方式來解決。
知識圖譜領(lǐng)域一個最重要的話題是知識的推理。 而且知識的推理是走向強人工智能的必經(jīng)之路。但很遺憾的,目前很多語義網(wǎng)絡(luò)的角度討論的推理技術(shù)(比如基于深度學(xué)習(xí),概率統(tǒng)計)很難在實際的垂直應(yīng)用中落地。其實目前最有效的方式還是基于一些規(guī)則的方法論,除非我們有非常龐大的數(shù)據(jù)集。
最后,還是要強調(diào)一點,知識圖譜工程本身還是業(yè)務(wù)為重心,以數(shù)據(jù)為中心。不要低估業(yè)務(wù)和數(shù)據(jù)的重要性。
總之知識圖譜是一個既充滿挑戰(zhàn)而且非常有趣的領(lǐng)域。只要有正確的應(yīng)用場景,對于知識圖譜所能發(fā)揮的價值還是可以期待的。我相信在未來不到2,3年時間里,知識圖譜技術(shù)會普及到各個領(lǐng)域當中。
審核編輯 黃昊宇
-
數(shù)據(jù)庫
+關(guān)注
關(guān)注
7文章
3827瀏覽量
64518 -
知識圖譜
+關(guān)注
關(guān)注
2文章
132瀏覽量
7717
發(fā)布評論請先 登錄
相關(guān)推薦
評論