盡管圍繞機器學習和人工智能（AI）進行了大肆宣傳，但企業(yè)中的大多數(shù)努力仍處于試驗階段。 造成這種現(xiàn)象的部分原因是與機器學習項目相關(guān)的自然實驗，但也有一個與機器學習體系結(jié)構(gòu)缺乏成熟度有關(guān)的重要因素。 該問題在企業(yè)環(huán)境中尤其明顯，在企業(yè)環(huán)境中，現(xiàn)代機器學習解決方案的新應用程序生命周期管理實踐與公司實踐和法規(guī)要求相沖突。 在采用機器學習解決方案時，組織應放置哪些關(guān)鍵體系結(jié)構(gòu)構(gòu)建塊？ 答案不是很簡單，但是最近我們已經(jīng)看到研究實驗室和AI數(shù)據(jù)科學的一些努力，這些努力開始為大規(guī)模機器學習解決方案的參考體系結(jié)構(gòu)鋪平道路。

建立用于大規(guī)模機器學習解決方案的參考體系結(jié)構(gòu)的挑戰(zhàn)主要由兩個主要因素來強調(diào)：

1）機器學習框架和基礎(chǔ)設(shè)施的發(fā)展比主流環(huán)境中采用這些技術(shù)的發(fā)展速度要快得多。

2）機器學習解決方案的生命周期與其他軟件學科根本不同。

為了解釋第一點，請考慮構(gòu)成機器學習生態(tài)系統(tǒng)的四個主要領(lǐng)域：研究，開發(fā)框架，基礎(chǔ)架構(gòu)和應用程序架構(gòu)。 在過去的幾年中，前三個領(lǐng)域的發(fā)展速度比第四領(lǐng)域快得多，這說明在主流環(huán)境中采用新的機器學習體系結(jié)構(gòu)存在很大的摩擦。

第二點也不是很明顯，除非您在實際應用中遇到了這一挑戰(zhàn)。 機器學習程序的生命周期與傳統(tǒng)軟件應用程序根本不同。 結(jié)果，當應用于機器學習解決方案時，大多數(shù)已建立的應用程序開發(fā)方法（例如，敏捷或瀑布式開發(fā)以及連續(xù)的集成/交付工具和流程）均不完善。

盡管這些挑戰(zhàn)當然是相關(guān)的，但我們開始看到第一波架構(gòu)，這些架構(gòu)為機器學習解決方案提供了可行的工作流程。 矛盾的是，與流行的機器學習框架（如TensorFlow或PyTorch）或機器學習平臺（如AWS SageMaker或Azure ML）相比，這些解決方案中的大多數(shù)都沒有受到機器學習社區(qū)的太多關(guān)注。

您需要了解的五個機器學習框架

下面，我列出了一些我最喜歡的框架和參考體系結(jié)構(gòu)，這些框架和參考體系結(jié)構(gòu)簡化了現(xiàn)實世界中機器學習解決方案的實現(xiàn)。 我計劃在以后的文章中深入研究這些堆棧中的每個堆棧。

斯坦福的DAWN

DAWN是由斯坦福大學（Stanford University）創(chuàng)立的一項計劃，并得到了英特爾，谷歌或微軟等行業(yè)巨頭的支持。 去年發(fā)表的研究論文中概述了DAWN背后的原理，該論文實質(zhì)上提出了一系列工具，框架和體系結(jié)構(gòu)參考，以簡化機器學習工作流程。 當前的DAWN堆棧包括解決機器學習解決方案生命周期不同方面的項目，例如培訓（Snorkel），連續(xù)分析（MacroBase）或數(shù)據(jù)計算（Weld）。

》 Source： https://dawn.cs.stanford.edu/

優(yōu)步的米開朗基羅

Uber的米開朗基羅（Michelangelo）是該領(lǐng)域最著名的工作之一，它的運行時為Uber的數(shù)百種機器學習工作流提供了動力。 從實驗到模型服務，米開朗基羅結(jié)合了主流技術(shù)以自動化機器學習應用程序的生命周期。 Uber出色地完成了Michelangelo與其他專有機器學習技術(shù)（例如Horovod，PyML或Pyro）的互補工作。

》 Source： https://eng.uber.com/michelangelo-machine-learning-platform/

DataBricks的MLflow

MLflow是一個開源平臺，用于自動化機器學習解決方案的生命周期。 該項目專注于機器學習工作流程的三個關(guān)鍵領(lǐng)域：培訓，項目包裝和模型服務。 Mlflow與許多主流開發(fā)框架以及運行時基礎(chǔ)結(jié)構(gòu)集成在一起，這使其成為各種機器學習場景的可行選擇。

》 Source： https://www.mlflow.org/

Facebook的FBLearner Flow

FBLearner Flow是Facebook機器學習應用程序的骨干。 該平臺可自動執(zhí)行機器學習工作流程的不同元素，例如特征提取，訓練，模型評估和推理。 FBLearner Flow與Facebook自己的Caffe2，PyTorch和ONNX等多種機器學習框架和工具集成在一起。

》 Source： https://engineering.fb.com/ml-applications/introducing-fblearner-flow-facebook-s-ai-backbo

Google的TFX

Google還創(chuàng)建了自己的運行時來執(zhí)行機器學習工作流。 TFX基于最近發(fā)表的研究論文，該論文提出了用于簡化TensorFlow程序可操作性的架構(gòu)。 TFX包含TensorFlow架構(gòu)的幾個關(guān)鍵組件，例如用于基于訓練數(shù)據(jù)生成模型的學習器，用于分析和驗證數(shù)據(jù)以及模型的模塊以及用于在生產(chǎn)中服務模型的基礎(chǔ)架構(gòu)。

》 Source： https://www.kdd.org/kdd2017/papers/view/tfx-a-tensorflow-based-production-scale-machine-le

這些是一些新的，即將到來的項目，旨在簡化現(xiàn)實世界中機器學習應用程序的實現(xiàn)。 隨著機器學習的發(fā)展，我們應該看到越來越多的參考架構(gòu)和框架已成為全球企業(yè)軟件堆棧中不可或缺的一部分。