色哟哟视频在线观看-色哟哟视频在线-色哟哟欧美15最新在线-色哟哟免费在线观看-国产l精品国产亚洲区在线观看-国产l精品国产亚洲区久久

您好,歡迎來電子發燒友網! ,新用戶?[免費注冊]

您的位置:電子發燒友網>源碼下載>數值算法/人工智能>

分布式機器學習平臺的實現方法

大小:0.5 MB 人氣: 2017-09-29 需要積分:3

  本文選自紐約州里大學計算機系教授Murat和學生的論文,主要介紹了分布式機器學習平臺的實現方法并提出了未來的研究方向。

  論文地址:www.cse.buffalo.edu/~demirbas/publications/DistMLplat.pdf

  機器學習特別是深度學習語音識別、圖像識別、自然語言處理、推薦系統和搜索引擎等領域帶來的革命性的突破。這些技術將會廣泛用于自動駕駛、醫療健康系統、客戶關系管理、廣告、物聯網等場景。在資本的驅動下機器學習的發展十分迅速,近年來我們看到了各個公司和研究機構紛紛推出了自己的機器學習平臺。

  由于需要訓練的數據集合模型十分巨大,機器學習平臺通常采用分布式的架構來實現,會采用成百上千的機器來訓練模型。在不遠的未來,涉及機器學習的計算將會成為數據中心的主要任務。

  由于作者分布式系統的專業背景,本文從分布式系統的角度來研究這些機器學習平臺,并分析他們在通信和控制方面的瓶頸。同時我們還研究并比較了這些平臺的容錯性以及編程實現的難易程度。

  根據實現原理和架構的不同,我們將分布式機器學習平臺分為三種不同的基本類型:

  基礎數據流模式

  參數服務器模型

  先進的數據流模式

  對于三種主流的實現方式做了簡短的介紹,分別利用Spark、PMLS和Tensorflow(MXNet)來對三種類型進行解讀。我們對不同的平臺進行了比較,詳細的結果見論文。

  在文章的最后我們總結了分布式機器學習平臺并對未來給出了一些建議,如果你很熟悉機分布式器學習平臺的話可以跳過這部分。

  Spark

  在Spark里計算通過有向無環圖來建模,其中每一個頂點代表一個彈性分布式數據集(Resilient Distributed Dataset, RDD) ,而每條邊表示一種對于RDD的操作。RDD是一組分配在不同邏輯分區里的對象,這些邏輯分區直接在內存里儲存并處理,當內存空間不夠的時候,部分分區會被存放在硬盤上,需要的時候再和內存里的分區替換位置。

  在有向無環圖中,從A定點指向B定點的E邊表示RDD A 通過E操作得到了RDD B。其中包含兩類操作:轉換類和動作類。轉換類操作意味著會產生新的RDD。

  分布式機器學習平臺的實現方法

  Spark的用戶通過建立對有向無環圖上RDD的轉換或者運行操作來實現計算。有向無環圖被編譯為一個個不同的級別,每一個級別包含一系列可以并行計算的任務(每個分區中一個任務)。任務間較弱的依賴性有利于高效的執行,而較強的依賴性則會因為大量的通信造成性能的嚴重下降。

  分布式機器學習平臺的實現方法

  Spark通過將這些有向無環圖分級分配到不同的機器上來實現分布式計算,上圖顯示了主節點的清晰的工作架構。驅動包含兩個部分的調度器單元,DAG調度器和任務調度器,同時運行和協調不同機器間的工作。

  Spark的設計初衷是用于通用的數據處理,并沒有針對機器學習的特殊設計。但是在MKlib工具包的幫助下,也能在Spark上實現機器學習。通常來說,Spark將模型參數存儲于驅動節點上,每一個機器在完成迭代之后都會與驅動節點通信更新參數。對于大規模的應用來說,模型參數可能會存在一個RDD上。由于每次迭代后都會引入新的RDD來存儲和更新參數,這會引入很多額外的負載。更新模型將會在機器和磁盤上引入數據的洗牌操作,這限制了Spark的大規模應用。這是基礎數據流模型的缺陷,Spark對于機器學習的迭代操作并沒有很好的支持。

  PMLS

  PMLS是為機器學習量身打造的平臺,通過引入了參數服務器抽象概念來處理機器學習訓練過程中頻繁的迭代。

非常好我支持^.^

(0) 0%

不好我反對

(0) 0%

      發表評論

      用戶評論
      評價:好評中評差評

      發表評論,獲取積分! 請遵守相關規定!

      ?
      主站蜘蛛池模板: 中国特级黄色大片| 亚洲精品一区二区在线看片| 色欲AV亚洲情无码AV蜜桃| 中文中幕无码亚洲在线| 国产亚洲精品视频在线网| 色爰情人网站| 抽插内射高潮呻吟V杜V| 欧美多人群p刺激交换电影| 2021久久最新国产精品| 久久草福利自拍视频在线观看| 国产成人在线视频| 日久精品不卡一区二区| 大香伊人久久精品一区二区| 日本丝袜护士| 大胸美女脱内衣黄网站| 日韩精品特黄毛片免费看| 成电影人免费网站| 日本久久久久亚洲中字幕| 99在线视频免费观看视频| 美女国产毛片A区内射| 999久久免费高清热精品| 欧美精品久久久久性色AV苍井| 9久久99久久久精品齐齐综合色圆 9久高清在线不卡免费无吗视频 | jj插入bb| 欧美日韩中文国产一区| japanese色系free日本| 人人碰国产免费线观看| 光棍天堂在线a| 亚洲AV美女成人网站P站| 国际老妇高清在线观看| 夜夜躁婷婷AV蜜桃视频| 麻豆沈芯语| 阿力gv资源| 午夜国产视频| 久久全国免费观看视频| 8090碰成年女人免费碰碰尤物| 欧美群交XXXCOM| 国产精品v欧美精品v日韩| 亚洲一区在线观看无码欧美| 玛雅成人网| 国产69精品9999XXXX|