編者按：如果不用寫代碼就能對機器學習模型進行審查，那會是怎樣的體驗？今天，谷歌開源了一款工具，名為What-If，具體有以下幾種功能：

對推斷結果可視化；

編輯數據點，看模型會有怎樣的反應；

研究單一特征對模型的影響；

研究反事實樣本；

用相似度安排樣本；

查看混淆矩陣和ROC曲線；

測試算法公平性。

以下是論智對這一工具進行的詳細介紹：

打造高效的機器學習系統意味著要問很多問題，僅僅訓練模型是不夠的，優秀的機器學習專家會像偵探一樣，對模型進行詳細調查，以更好地理解它們：數據點的改變將如何影響模型的預測？針對不同的群體，模型的表現有何不同？我要測試的數據集中包含多少種類的數據？

想要回答這類問題可并不容易。研究機器學習模型的使用場景通常要用定制的、一次性的代碼分析。這一過程不僅低效，而且對不會編程的人員也不友好。谷歌AI PAIR計劃其中一個努力方向就是讓更多的人能參與到機器學習系統的檢查、評估和debug中來。

今天，我們發布What-If工具，這是一款新的開源TensorBoard網頁應用，能讓我們無需編寫代碼就能分析一款機器學習模型。給定一個TensorFlow模型和數據集，What-If工具可以展示出表現模型結果的交互界面。

What-If工具，展示了250張人臉圖像和模型在其中檢測微笑的結果

What-If工具有多種功能，包括用Facets自動對你的數據集進行可視化、從數據集中手動編輯樣本的能力以及觀察這些變化帶來的影響、并且自動生成partial dependence plots，展示模型的預測是如何隨著單一特征的變化而變化的。接下來就是對這兩種特征的詳細介紹。

在一個數據點上探索what-if場景

反事實（counterfactuals）

只需要點擊鼠標，你就能比較一個數據點和另一個相似的數據點，但模型在后者上預測出了不同的結果。我們將這樣的數據點稱為“counterfactuals”，它們可以告訴你有關模型決策邊界的信息。

在下方的截圖中，這款工具就用到了一個二元分類模型上，它是根據UCI的人口普查數據來判斷某人的收入是否大于5萬美元。這是很多機器學習研究者都會用到的預測模型，尤其是分析算法的公平性時。在這個案例中，對于選擇的數據點，模型預測出的結果有73%的置信度認為該人的收入高于5萬美金。該工具自動定位了數據集中另一位與之相似的對象，但模型預測他的收入小于5萬美金，并將這兩個目標進行了比對。在這種情況下，對年齡和職業進行稍稍改動，模型的預測就有了變化。

比較counterfactuals

分析模型性能和算法公平性

你還可以探索不同分類閾值所帶來的不同影響，下方的截圖展示了另一個微笑監測模型的結果，他在開源的CelebA數據集上進行的訓練，該數據集含有經過標記的名人人臉圖像。在下方的案例中，數據集中的人臉根據頭發顏色進行了分類，每兩組數都有一個ROC曲線和針對預測的混淆矩陣，以及設置了模型判斷人臉在微笑的信心有多少。在這個案例中，兩組數據的置信區間是用該工具自動設置的，從而保證公平性。

比較兩部分數據在微笑探測器上的性能

Demos

為了說明What-If工具的能力，我們用預訓練模型展示了一套demo：

檢測錯誤分類：一個多種類分類模型，它可以從眾多植物中預測某株植物的種類。這一工具在展示模型決策邊界、判斷如何造成錯誤分類時是非常有用的。模型是在UCI iris數據集上進行訓練的。

評估二元分類模型中的公平性：正是上文中我們提到的微笑探測模型。What-If工具可以幫助我們在多個分類中評估算法公平性。模型在訓練時沒有提供任何具體任務的圖片，為的就是證明What-If工具能如何幫助模型解除偏見。評估公平性需要仔細考慮所有語境，但這的確是有用的量化起始點。

在不同子集中研究模型性能：例如一個可以預測目標對象年齡的回歸模型，What-If工具就可以展示與模型相關的其他子集上的性能信息，以及不同的特征是如何影響預測結果的。模型同樣是在UCI人口普查數據集上進行的訓練。

在實際中應用What-If工具

我們在谷歌內部團隊中對What-If進行了測試，發現了它的很多好處。其中一個團隊很快就發現了他們的模型忽視了數據集中的一個重要的特征，從而修復了之前沒有發現的代碼bug。另一個團隊用該工具對它們的樣本性能進行從優到劣的可視化排序，讓他們看到了模型樣本的類型構成。

不論是谷歌的員工還是其他領域的從業者，我們都希望這款工具能讓用戶更好地了解機器學習模型，并對公平性有所了解。另外，此工具的代碼是開源的，歡迎大家嘗試并提出意見。