淺談攜程在大數據平臺構建中遭遇的挑戰
大小：0.07 MB 人氣：0 2017-10-11 需要積分：1
標簽：大數據平臺(5807)
2016年4月22日-23日，由CSDN重磅打造的數據庫核心技術與實戰應用峰會、互聯網應用架構實戰峰會將在深圳舉行。這是繼3月中旬，SDCC之架構&數據庫峰會在上海圓滿收官后的再一次相聚。上海站上，18位技術講師給超過500名的現場參會者帶來了精彩分享，火爆程度超出主辦方想象。
即將到來的SDCC深圳技術峰會講師陣容強大，主辦方邀請了來自于百度、阿里、騰訊、滴滴出行、攜程、平安科技、AdMaster、華為、京東、唯品會、一號店、中國電信、閱文集團等公司的技術骨干、首席架構師來為與會者分享演講和交流，必定是一場技術人的饕餮盛宴。【目前限時6折，點擊這里搶票】
在即將到來的SDCC深圳技術峰會召開之際，由CSDN負責數據庫技術領域的小編采訪了一些參會講師，談談他們將在本次活動所分享的內容。
攜程大數據平臺負責人 張翼
本期我們采訪的講師是來自攜程大數據平臺負責人 張翼，主要負責的是大數據平臺。進入互聯網行業近10年，從事大數據平臺和架構的工作超過6年。對大數據的底層平臺的構建和相關的技術有較為深入的研究，對于數據倉庫和機器學習相關的技術也有所涉獵。
張翼將在SDCC 2016 深圳站之數據庫峰會上分享的主題是 《攜程實時大數據處理平臺和實踐 》，想要知道全部數據庫技術峰會講師情況和議題可參見：SDCC深圳站數據庫/大數據專場講師議題全公布。
以下是專訪內容：
CSDN：首先請簡單介紹下您和您所在的公司，以及目前所負責的領域。
張翼：我叫張翼，浙江大學畢業，最初的專業是信息管理，屬于管理學院，由于喜歡在電腦上搗鼓些東西，也想比較系統地學習相關的知識，所以在大二下半學期的時候就轉到了軟件工程，真是“一入空門深似海”啊 ，研究生畢業之后在Ebay中國研發中心和大眾點評工作過，目前擔任攜程大數據平臺的負責人，現在看來在互聯網行業打拼也有近十年時間了。
攜程大家應該是蠻熟悉了吧，全國領先的OTA平臺，旅游出行相關的都可以在上面一站式的完成，從酒店和機票的預訂到火車票和汽車票，租車等，只要你能想到的和旅行相關的所有東西，在攜程上都可以輕松實現。
目前我在攜程主要負責的是大數據平臺，是攜程數據的基礎架構和工具；包括底層計算和存儲平臺，也包括上層數據應用相關的平臺和工具。
CSDN：您有將近10年的互聯網從業經驗，想問下您是如何走上這條技術之路的？
張翼：前面也提到了，大學時比較喜歡計算機，所以就選擇了軟件工程這個專業。最后就沿著這條路一直走下來了，可能源于本身對于互聯網和技術比較感興趣吧。
CSDN：作為攜程大數據平臺的負責人，你帶領的團隊在對大數據平臺的構建過程中，遇到了哪些技術難點和挑戰呢？
張翼：在整個平臺構建的不同階段，遇到的挑戰是不同的，最初的階段是平臺的穩定性，包括底層計算和存儲平臺（Hadoop / Hive / HBase）的穩定性以及上層自研發系統，如調度平臺，報表平臺的穩定性；對于前者需要有技術投入，對開源系統要有源碼級的理解，至少能夠在解決遇到的問題時做到臨危不亂，有路可循；另外就是一個好的運維自動化和監控的體系和工具是非常有幫助的；對于自研的系統，一開始的設計一定要做好，一個正確的假設，好的設計對穩定性至關重要。
在穩定性的問題初步解決之后，我們面臨的挑戰就是如何緊密結合業界的發展和公司實際的需求，真正將一些好用的框架落地下去，支持公司數據分析和挖掘的需求是一個很大的挑戰，我的經驗是一開始的時候面不能鋪的太開，想要面面俱到往往各個方向的效果都不是那么理想，結合目前技術大的趨勢和公司最迫切的需求，選擇1-2個方面，以實際業務能落地的例子開始嘗試，往往能夠取得比較好的效果。
CSDN：我們都知道，攜程是國內領先的在線票務服務公司，能否介紹下大數據的平臺構建給攜程帶來了哪些好處？
張翼：大數據的應用現在已經深入攜程的方方面面，從最為普通的數據報表到結合業務的復雜的機器學習的應用；數據已經深入到公司運行的方方面面；統一的大數據平臺的構建給各個業務部門開發自己相關的數據應用提供了堅實的技術的保證，他們更多只需要關系于業務的邏輯的處理和分析，提高了整體數據開發的效率。
CSDN：那么，能否簡單介紹下，攜程大數據平臺在未來的規劃和發展方向又是什么呢？
張翼：在技術上，首先我們準備更多地擁抱Spark，目前Spark主要的使用場景還是集中在機器學習相關的方面，未來我們會嘗試在ETL等方面嘗試使用Spark（或是Hive on Spark），以獲得更高的計算效率，另外，在實時方面Spark 2.0之后，它的實時模型得到了很大的進化，我們會考慮將它作為實時計算引擎之一引入我們的實時計算平臺；其次，我們會關注一下其他開源的“新”項目，如Kudo，Flink，希望和現在的平臺結合給攜程的數據使用和分析的同學提供更多可能。
除了在技術上的提升，我們也希望在一些特定的領域把一些經驗和知識通過程序固化下來，開發相對通用的業務支持的平臺和數據產品，更好地服務公司的業務。
CSDN：回顧您在互聯網這個行業從業以來，有哪些心得和體會可和我們分享的？
張翼：和大家分享一下一點我的體會吧，就是不滿足現狀，不斷嘗試新的東西，提高自己各方面的能力；工作進行了一段時間之后，大家總會進入一個舒適區，在這些時候你可以考慮下，這是不是你所追求的，你是否還能做得更好或是更多，這樣你就會嘗試去學習新的東西，嘗試新的領域，開始去尋找新的挑戰，不需要把自己逼得太急，可以按照自己的節奏去進行，只要這樣做一段時間之后就一定會有收獲，不滿足的初心非常重要。
CSDN：您認為要想成為一名優秀的技術人員身上該具備哪些素質？
張翼：首先最重要的是對技術要有激情，有熱情，能夠主動去學習自己感興趣的技術，做深做透。
其次是基礎需要過硬，如掌握至少的語言，對于計算機學科的相關知識，如操作系統，數據結構與算法，設計模式等能夠熟練掌握。
再次就是溝通協調，項目管理等軟性能力，以及個人管理的一些技能，如時間管理的能力
哈哈，有點說的像是招聘的JD。
CSDN：在本次SDCC 2016（深圳站）數據庫峰會上，您分享的話題是？
張翼：在本次的數據庫峰會上，我分享的話題是攜程實時計算平臺的實踐；我將會和大家分享一下我們是如何一步一步構建起實時分析的平臺，我們現在調研的方向和工作，以及未來的方向。
CSDN：您最期待在SDCC 2016（深圳站）峰會上看到哪些內容？
張翼：非常高興能夠有幸被邀請參加這次的峰會，第一天大數據相關的內容也是干貨滿滿，希望和廣大同行多多交流，互相學習。
?
非常好我支持^.^
(0) 0%
不好我反對
(0) 0%
