最近小茹姐發現破解自動化機器學習的黑匣子這個話題相信很多小伙伴們都很感興趣吧，那么今天就帶大家了解下破解自動化機器學習的黑匣子的具體詳情，那么小茹姐就來給大家說說具體的一些問題吧，希望對大家有所幫助。

麻省理工學院和其他地方的研究人員已經開發了一種交互式工具，該工具首次使用戶可以查看和控制自動化機器學習系統的工作方式。目的是建立對這些系統的信心并找到改善它們的方法。

為特定任務（例如圖像分類，疾病診斷和股票市場預測）設計機器學習模型是一個艱巨且耗時的過程。專家首先從許多不同的算法中進行選擇以構建模型。然后，他們在模型開始訓練之前手動調整“超參數”，這些“超參數”確定了模型的整體結構。

最近開發的自動機器學習（AutoML）系統反復測試和修改算法以及那些超參數，并選擇最適合的模型。但是這些系統就像“黑匣子”一樣運作，這意味著用戶無法選擇它們的選擇技術。因此，用戶可能不信任結果，并且會發現很難根據其搜索需求來定制系統。

麻省理工學院，香港科技大學和浙江大學的研究人員在ACM CHI計算系統中的人為因素大會上發表的論文中，描述了一種工具，該工具將AutoML方法的分析和控制應用到用戶的計算機中。手。該工具稱為ATMSeer，將AutoML系統，數據集和有關用戶任務的一些信息作為輸入。然后，它在一個用戶友好的界面中可視化搜索過程，從而提供有關模型性能的深入信息。

麻省理工學院信息與決策系統實驗室（LIDS）的首席研究科學家Kalyan Veeramachaneni說：“我們讓用戶選擇AutoML系統是如何工作的。” “您可能只是選擇性能最高的模型，或者您可能有其他考慮因素或使用領域專業知識來指導系統在某些模型之上尋找其他模型。”

在對作為AutoML新手的理科研究生進行的案例研究中，研究人員發現使用ATMSeer的參與者中約有85%對系統選擇的模型充滿信心。幾乎所有參與者都說，使用該工具使他們將來足以使用AutoML系統。

電氣工程和計算機科學系（EECS）的研究生Micah Smith說：“我們發現，打開黑匣子并查看并控制系統的運行方式，會使人們更傾向于使用AutoML。” LIDS研究人員。

“數據可視化是一種有效的方法，可以改善人機之間的協作。ATMSeer就是這個想法的例證。” “ ATMSeer將使受益于一定水平專業知識的機器學習從業者大為受益，無論他們來自哪個領域。它可以減輕手動選擇機器學習算法和調整超參數的麻煩。”

在論文上與史密斯，韋拉瑪卡尼尼和王一起加入的還有：科大的姚明，沉巧木，劉冬雨和曲華敏;和浙江大學的金志華。

新工具的核心是一個定制的AutoML系統，稱為Veeramachaneni和其他研究人員于2017年開發的“ Auto-Tuned Models ”（ATM）。與傳統的AutoML系統不同，ATM會在嘗試擬合模型時對所有搜索結果進行完全分類數據。

ATM將任何數據集和編碼的預測任務作為輸入。系統隨機選擇算法類別（例如神經網絡，決策樹，隨機森林和邏輯回歸），以及模型的超參數，例如決策樹的大小或神經網絡層數。

然后，系統針對數據集運行模型，迭代調整超參數，并測量性能。它使用從該模型的性能中學到的知識來選擇另一個模型，依此類推。最后，系統為任務輸出幾個性能最高的模型。

訣竅在于，每個模型實際上都可以視為具有幾個變量的一個數據點：算法，超參數和性能。在這項工作的基礎上，研究人員設計了一個系統，可以在指定的圖形和圖表上繪制數據點和變量。從那里，他們開發了一種單獨的技術，該技術還使他們可以實時重新配置該數據。“訣竅在于，使用這些工具，您可以可視化的任何東西，也可以修改，” Smith說。