Apache Kylin是Hadoop大數(shù)據(jù)平臺(tái)上的一個(gè)開源OLAP引擎。它采用多維立方體預(yù)計(jì)算技術(shù)，可以將大數(shù)據(jù)的SQL查詢速度提升到亞秒級(jí)別。相對(duì)于之前的分鐘乃至小時(shí)級(jí)別的查詢速度，亞秒級(jí)別速度是百倍到千倍的提升，該引擎為超大規(guī)模數(shù)據(jù)集上的交互式大數(shù)據(jù)分析打開了大門。

　　Apache Kylin也是中國(guó)人主導(dǎo)的、唯一的Apache頂級(jí)開源項(xiàng)目，在開源社區(qū)有世界級(jí)的影響力。

　　今天，大數(shù)據(jù)領(lǐng)域的發(fā)展如火如荼，各種新技術(shù)層出不窮，整個(gè)生態(tài)欣欣向榮。作為大數(shù)據(jù)領(lǐng)域最重要的技術(shù)——Apache Hadoop，從誕生至今已有10周年。它最初只是致力于簡(jiǎn)單的分布式存儲(chǔ)，然后在其之上實(shí)現(xiàn)大規(guī)模并行計(jì)算，到如今它已在實(shí)時(shí)分析、多維分析、交互式分析、機(jī)器學(xué)習(xí)甚至人工智能等方面都有著長(zhǎng)足的發(fā)展。

　　2013年年初，eBay內(nèi)部使用的傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)及商業(yè)智能平臺(tái)應(yīng)用碰到了瓶頸，即傳統(tǒng)的架構(gòu)只支持垂直擴(kuò)展，通過(guò)在一臺(tái)機(jī)器上增加CPU和內(nèi)存等資源來(lái)提升數(shù)據(jù)處理能力，相對(duì)于數(shù)據(jù)指數(shù)級(jí)的增長(zhǎng)，單機(jī)擴(kuò)展很快就達(dá)到了極限。另一方面，Hadoop大數(shù)據(jù)平臺(tái)雖然能存儲(chǔ)和批量處理大規(guī)模數(shù)據(jù)，但與BI平臺(tái)的連接技術(shù)依然不成熟，無(wú)法提供高效的交互式查詢。于是尋找更好的方案便成為了當(dāng)務(wù)之急。正好在2013年年中的時(shí)候eBay公司啟動(dòng)了一個(gè)大數(shù)據(jù)項(xiàng)目，其中的一塊內(nèi)容就是BI on Hadoop的預(yù)研。當(dāng)時(shí)eBay中國(guó)卓越中心組建了一支很小的團(tuán)隊(duì)，他們?cè)诜治龊蜏y(cè)試了多種開源和商業(yè)解決方案之后，發(fā)現(xiàn)沒(méi)有一種方案能夠完全滿足當(dāng)時(shí)的需求，即在超大規(guī)模數(shù)據(jù)集上提供秒級(jí)的查詢性能，并能基于Hadoop與BI平臺(tái)無(wú)縫整合等。在研究了多種可能性之后，最終eBay 的Apache Kylin核心團(tuán)隊(duì)決定自己實(shí)現(xiàn)一套OLAP on Hadoop的解決方案，以彌補(bǔ)業(yè)界的這個(gè)空白。與此同時(shí)，eBay公司也非常鼓勵(lì)開源各個(gè)項(xiàng)目，回饋社區(qū)，eBay的Apache Kylin核心團(tuán)隊(duì)在向負(fù)責(zé)整個(gè)技術(shù)平臺(tái)的高級(jí)副總裁做匯報(bào)的時(shí)候，得到的一個(gè)反饋就是“要從第一天就做好開源的準(zhǔn)備”。

　　Kylin的使命是超高速的大數(shù)據(jù)OLAP（Online Analytical Processing），也就是要讓大數(shù)據(jù)分析像使用數(shù)據(jù)庫(kù)一樣簡(jiǎn)單迅速，用戶的查詢請(qǐng)求可以在秒內(nèi)返回，交互式數(shù)據(jù)分析將以前所未有的速度釋放大數(shù)據(jù)里潛藏的知識(shí)和信息，讓我們?cè)诿鎸?duì)未來(lái)的挑戰(zhàn)時(shí)占得先機(jī)。

　　為什么要使用Apache Kylin

　　自從10年前Hadoop誕生以來(lái)，大數(shù)據(jù)的存儲(chǔ)和批處理問(wèn)題均得到了妥善解決，而如何高速地分析數(shù)據(jù)也就成為了下一個(gè)挑戰(zhàn)。于是各式各樣的“SQLon Hadoop”技術(shù)應(yīng)運(yùn)而生，其中以Hive為代表，Impala、Presto、 Phoenix、Drill、SparkSQL等緊隨其后。它們的主要技術(shù)是“大規(guī)模并行處理”（Massive Parallel Processing，MPP）和“列式存儲(chǔ)”（Columnar Storage）。大規(guī)模并行處理可以調(diào)動(dòng)多臺(tái)機(jī)器一起進(jìn)行并行計(jì)算，用線性增加的資源來(lái)?yè)Q取計(jì)算時(shí)間的線性下降。列式存儲(chǔ)則將記錄按列存放，這樣做不僅可以在訪問(wèn)時(shí)只讀取需要的列，還可以利用存儲(chǔ)設(shè)備擅長(zhǎng)連續(xù)讀取的特點(diǎn)，大大提高讀取的速率。這兩項(xiàng)關(guān)鍵技術(shù)使得Hadoop上的SQL查詢速度從小時(shí)提高到了分鐘。

　　然而分鐘級(jí)別的查詢響應(yīng)仍然離交互式分析的現(xiàn)實(shí)需求還很遠(yuǎn)。分析師敲入查詢指令，按下回車，還需要去倒杯咖啡，靜靜地等待查詢結(jié)果。得到結(jié)果之后才能根據(jù)情況調(diào)整查詢，再做下一輪分析。如此反復(fù)，一個(gè)具體的場(chǎng)景分析常常需要幾小時(shí)甚至幾天才能完成，效率低下。

　　這是因?yàn)榇笠?guī)模并行處理和列式存儲(chǔ)雖然提高了計(jì)算和存儲(chǔ)的速度，但并沒(méi)有改變查詢問(wèn)題本身的時(shí)間復(fù)雜度，也沒(méi)有改變查詢時(shí)間與數(shù)據(jù)量成線性增長(zhǎng)的關(guān)系這一事實(shí)。假設(shè)查詢1億條記錄耗時(shí)1分鐘，那么查詢10億條記錄就需10分鐘，100億條記錄就至少需要1小時(shí)40分鐘。當(dāng)然，可以用很多的優(yōu)化技術(shù)縮短查詢的時(shí)間，比如更快的存儲(chǔ)、更高效的壓縮算法，等等，但總體來(lái)說(shuō)，查詢性能與數(shù)據(jù)量呈線性相關(guān)這一點(diǎn)是無(wú)法改變的。雖然大規(guī)模并行處理允許十倍或百倍地?cái)U(kuò)張計(jì)算集群，以期望保持分鐘級(jí)別的查詢速度，但購(gòu)買和部署十倍或百倍的計(jì)算集群又怎能輕易做到，更何況還有高昂的硬件運(yùn)維成本。

　　另外，對(duì)于分析師來(lái)說(shuō)，完備的、經(jīng)過(guò)驗(yàn)證的數(shù)據(jù)模型比分析性能更加重要，直接訪問(wèn)紛繁復(fù)雜的原始數(shù)據(jù)并進(jìn)行相關(guān)分析其實(shí)并不是很友好的體驗(yàn)，特別是在超大規(guī)模的數(shù)據(jù)集上，分析師將更多的精力花在了等待查詢結(jié)果上，而不是在更加重要的建立領(lǐng)域模型上。