如今，人工智能（AI）正在幫助我們從數據中發現新見解并增強人類決策能力。例如，我們使用面部識別來登錄手機，并使用語音理解和意圖分析來獲得幫助。電子商務零售商與AI共同預測并向消費者推薦新產品。銀行使用對話式AI來減少欺詐并更好地管理客戶體驗。

當今使用的大多數AI是狹窄AI。通用AI更類似于人類的智能，可以涵蓋范圍廣泛的決策，情感和判斷力，因此不會很快出現。如今，窄人工智能實際上在某些特定任務上非常擅長，但是按照定義，“窄”會帶來一些局限性，使其容易產生偏差。

偏差可能來自不完整的數據樣本或不正確的數據集。互動中也存在偏見–隨時間推移的互動會發生偏斜的學習。而且，有時業務的突然變化（例如新法律或業務規則）可能會導致偏差。最后，無效的訓練算法可能會導致偏差。識別出偏差來自何處有助于緩解問題，并可以確保AI應用程序產生預期的業務成果。

數據偏差的最明顯原因是用于訓練AI系統的數據樣本缺乏多樣性。例如，我們定期通過AI算法運行飛機發動機的傳感器數據，以預測零件更換并優化資產性能。但是，如果AI主要針對從美國飛往歐洲的航班（在寒冷的北半球上空飛行）進行了培訓，然后再用于撒哈拉以南非洲的航班，則很容易看出數據集將落在經過訓練的模型參數之外，并產生錯誤的結果。換句話說，該算法僅與放入其中的數據一樣聰明。

現實情況是很難獲得全面的數據來訓練AI系統，因此許多系統僅使用容易獲得的數據。有時，可能甚至不存在用于訓練AI算法所有潛在用例的數據。例如，如果僅在歷史上沒有異類工作的人才庫中進行培訓，用于招聘的AI軟件就難以推薦多樣化的候選人。

偏見的另一大推動力是訓練中的偏見，可以通過匆忙而又不完整的訓練算法來解決。例如，一個旨在從對話中學習并變得更加聰明的AI聊天機器人可以選擇一種政治上不正確的語言，只要它未經培訓就可以暴露出來并開始使用它-如Microsoft從Tay那里學到的。同樣，在刑事司法系統中可能會使用AI也很重要，因為我們尚不知道AI算法的培訓是否正確完成。