2015年，一位憂(yōu)心忡忡的父親向Rhema Vaithianathan提出一個(gè)問(wèn)題，這個(gè)問(wèn)題至今仍然困擾著她。

當(dāng)時(shí)人們聚集在賓夕法尼亞州匹茲堡的一個(gè)會(huì)議室里，聽(tīng)她解釋軟件如何解決虐待兒童問(wèn)題。每天，該地區(qū)的熱線(xiàn)都會(huì)收到幾十個(gè)懷疑孩子有危險(xiǎn)的電話(huà)；其中一些隨后被呼叫中心工作人員標(biāo)記為進(jìn)行調(diào)查。但該系統(tǒng)并未能發(fā)現(xiàn)所有虐待兒童案例。

Rhema Vaithianathan 建議算法以發(fā)現(xiàn)虐童事件

Vaithianathan和她的同事們剛剛獲得了50萬(wàn)美元的資助以建立算法來(lái)提供幫助。Vaithianathan是一位健康經(jīng)濟(jì)學(xué)家，她也是新西蘭奧克蘭理工大學(xué)社會(huì)數(shù)據(jù)分析中心的聯(lián)合主管，她告訴大家該算法如何運(yùn)作。例如，一個(gè)收集大量數(shù)據(jù)的工具——包括家庭背景和犯罪記錄——可以在來(lái)電時(shí)生成風(fēng)險(xiǎn)評(píng)分。這可以幫助電話(huà)篩選者標(biāo)記要調(diào)查的家庭。

在Vaithianathan邀請(qǐng)觀眾提問(wèn)后，那位父親站起來(lái)說(shuō)道，他曾與毒癮斗爭(zhēng)，因此，社工曾將一個(gè)孩子從他家?guī)ё摺５呀涠疽欢螘r(shí)間。如果通過(guò)計(jì)算機(jī)評(píng)估他的記錄，他為改變生活而付出的努力是否算數(shù)？換句話(huà)說(shuō)：算法是否會(huì)對(duì)他做出不公平的判斷？

Vaithianathan向他保證，人類(lèi)將永遠(yuǎn)處于循環(huán)中，所以他的努力不會(huì)被忽視。但現(xiàn)在已經(jīng)部署了自動(dòng)化工具，她仍然會(huì)考慮他的問(wèn)題。計(jì)算機(jī)的計(jì)算越來(lái)越多地用于指導(dǎo)可能改變生活的決定，包括哪些人在被指控犯罪后被拘留；哪些家庭應(yīng)受到潛在的虐待兒童調(diào)查，以及在一種稱(chēng)為“預(yù)測(cè)性警務(wù)”的趨勢(shì)中，警察應(yīng)該關(guān)注哪些社區(qū)。這些工具有望使決策更加一致、準(zhǔn)確和嚴(yán)謹(jǐn)。但監(jiān)督是有限的：沒(méi)人知道有多少工具正被使用，而且其帶來(lái)的不公平風(fēng)險(xiǎn)已經(jīng)引起了人們的注意。例如，2016年，美國(guó)記者認(rèn)為，用于評(píng)估未來(lái)犯罪活動(dòng)風(fēng)險(xiǎn)的系統(tǒng)歧視黑人被告。

“我最關(guān)心的是我們構(gòu)建的系統(tǒng)可以改善問(wèn)題（但）可能最終會(huì)加劇這些問(wèn)題，” Kate Crawford說(shuō)道，她是AI Now 研究所的聯(lián)合創(chuàng)始人，該研究中心位于紐約大學(xué)，研究人工智能的社會(huì)影響。

隨著Crawford和其他人揮舞著紅旗，各國(guó)政府正試圖讓算法負(fù)起公平正義的責(zé)任。去年12月，紐約市議會(huì)通過(guò)了一項(xiàng)法案成立了一個(gè)工作組，建議如何共享有關(guān)算法的信息并對(duì)其進(jìn)行調(diào)查以尋找偏見(jiàn)。今年法國(guó)總統(tǒng)埃馬紐埃爾·馬克龍（Emmanuel Macron）表示，該國(guó)將公開(kāi)政府使用的所有算法。在本月發(fā)布的指導(dǎo)意見(jiàn)中，英國(guó)政府要求那些處理公共部門(mén)數(shù)據(jù)的人員要保持透明和負(fù)責(zé)。歐洲通用數(shù)據(jù)保護(hù)條例（GDPR）于5月底生效，這預(yù)計(jì)也將推動(dòng)算法問(wèn)責(zé)制。

在這種活動(dòng)中，科學(xué)家們正面對(duì)復(fù)雜的問(wèn)題，即如何使算法公平。正如Vaithianathan等研究人員，他們與公共機(jī)構(gòu)合作，努力建立負(fù)責(zé)且有效的軟件，必須努力解決自動(dòng)化工具如何帶來(lái)偏見(jiàn)或加劇現(xiàn)有的不公平現(xiàn)象——特別是當(dāng)這些工具被置入已經(jīng)存在歧視的社會(huì)系統(tǒng)時(shí)尤為重要。

公平權(quán)衡

2014年，當(dāng)匹茲堡社會(huì)服務(wù)部的官員在呼吁提出自動(dòng)化工具的建議時(shí)，他們還沒(méi)有決定如何使用它。但他們希望對(duì)新系統(tǒng)持開(kāi)放態(tài)度。該部門(mén)數(shù)據(jù)分析，研究和評(píng)估辦公室副主任Erin Dalton說(shuō)道，“我非常反對(duì)將政府資金用于黑箱解決方案，我無(wú)法告訴我們的社區(qū)我們正在做什么”。該部門(mén)擁有一個(gè)建于1999年的集中數(shù)據(jù)庫(kù)，其中包含大量的個(gè)人信息——包括住房，心理健康和犯罪記錄。Erin Dalton說(shuō)，Vaithianathan的團(tuán)隊(duì)在關(guān)注兒童福利上投入巨大。

阿勒格尼家庭篩查工具（AFST）于2016年8月啟動(dòng)。針對(duì)每個(gè)熱線(xiàn)電話(huà)，呼叫中心員工都能看到由自動(dòng)風(fēng)險(xiǎn)評(píng)估系統(tǒng)生成的分?jǐn)?shù)——1至20分，其中20分對(duì)應(yīng)的案例風(fēng)險(xiǎn)最高。這些是AFST預(yù)測(cè)的兒童最有可能在兩年內(nèi)被趕出去的家庭。

加利福尼亞州斯坦福大學(xué)的獨(dú)立研究員Jeremy Goldhaber-Fiebert仍在評(píng)估該工具。但Dalton說(shuō)初步結(jié)果表明它有所幫助。她說(shuō)，呼叫中心工作人員提到調(diào)查人員的案件似乎包括更多合法關(guān)注的案例。對(duì)于具有類(lèi)似情況的案例，電話(huà)篩選器似乎也在做出更一致的決策。盡管如此，其決策并不一定與算法的風(fēng)險(xiǎn)評(píng)分一致；該縣希望將兩者更緊密地聯(lián)系起來(lái)。

隨著AFST的部署，Dalton希望得到更多的幫助來(lái)確定它是否有偏見(jiàn)。2016年，她邀請(qǐng)匹茲堡卡內(nèi)基梅隆大學(xué)的統(tǒng)計(jì)學(xué)家Alexandra Chouldechova分析該軟件是否歧視特定群體。Chouldechova已在考慮算法中的偏見(jiàn)，并且即將對(duì)一個(gè)引發(fā)了大量辯論的案例進(jìn)行權(quán)衡。

同年5月，新聞網(wǎng)站ProPublica的記者報(bào)道了佛羅里達(dá)州布勞沃德縣法官使用的商業(yè)軟件，這有助于決定被控犯罪的人是否應(yīng)該在審判前被釋放。記者表示，該軟件對(duì)黑人被告帶有偏見(jiàn)。這個(gè)名為COMPAS的工具生成的分?jǐn)?shù)旨在評(píng)估當(dāng)一個(gè)人在被釋放的情況下，其在兩年內(nèi)犯下另一罪行的可能性。

ProPublica團(tuán)隊(duì)調(diào)查了數(shù)千名被告的COMPAS分?jǐn)?shù)。他們比較了黑人和白人被告，記者發(fā)現(xiàn)不成比例的黑人被告是“誤報(bào)”：他們被COMPAS歸類(lèi)為高風(fēng)險(xiǎn)，但隨后并未被指控犯有其他罪行。

該算法的開(kāi)發(fā)人員，一家名為Northpointe（現(xiàn)為Equivant）的密歇根公司，認(rèn)為該工具沒(méi)有偏見(jiàn)。它說(shuō)，COMPAS同樣善于預(yù)測(cè)被歸類(lèi)為高風(fēng)險(xiǎn)的白人或黑人被告是否會(huì)重新犯罪。Chouldechova很快表明，Northpointe和ProPublica的公平測(cè)量標(biāo)準(zhǔn)之間存在緊張關(guān)系。預(yù)測(cè)性等同，相等的假陽(yáng)性錯(cuò)誤率和相等的假陰性錯(cuò)誤率都是“公平”的方式，但如果兩組之間存在差異，統(tǒng)計(jì)上無(wú)法調(diào)和——例如白人和黑人被重新逮捕的比率（參見(jiàn)“如何定義公平”）。倫敦大學(xué)學(xué)院負(fù)責(zé)機(jī)器學(xué)習(xí)的研究員Michael Veale說(shuō)道：“你無(wú)法擁有一切。如果你想以某種方式公平，你可能在另一個(gè)聽(tīng)起來(lái)合理的定義中也是不公平的。

如何定義“公平”

研究算法偏差的研究人員表示，有很多方法可以定義公平，但這些方法有時(shí)相互矛盾。想象一下，在刑事司法系統(tǒng)中使用的算法會(huì)將分?jǐn)?shù)分配給兩組（藍(lán)色組和紫色組），因?yàn)樗鼈冇斜恢匦麓兜娘L(fēng)險(xiǎn)。歷史數(shù)據(jù)表明紫色組的逮捕率較高，因此該模型將紫色組中的更多人分類(lèi)為高風(fēng)險(xiǎn)。 即使模型的開(kāi)發(fā)人員試圖避免偏見(jiàn)，這種情況也可能發(fā)生。這是因?yàn)橛米饔?xùn)練輸入的其他數(shù)據(jù)可能也與藍(lán)色或紫色相關(guān)。

高風(fēng)險(xiǎn)狀態(tài)不能完美地預(yù)測(cè)重新逮捕，但算法的開(kāi)發(fā)人員試圖使預(yù)測(cè)公平：對(duì)于兩個(gè)群體而言，“高風(fēng)險(xiǎn)”相當(dāng)于兩年內(nèi)被逮捕的幾率是三分之二。（這種公平性被稱(chēng)為預(yù)測(cè)性平等）未來(lái)逮捕率可能不會(huì)遵循過(guò)去的模式。但是在這個(gè)簡(jiǎn)單的例子中，假設(shè)他們這樣做：正如預(yù)測(cè)的那樣，藍(lán)色組10人中的3人和紫色組10人中的6人確實(shí)是被逮捕了（可參見(jiàn)圖中底部的灰色條形圖）。

該算法具有預(yù)測(cè)奇偶性，但存在問(wèn)題。在藍(lán)色組中，7人中有1人（14％）被誤認(rèn)為是高風(fēng)險(xiǎn)；在紫色組中，4人中有2人（50％）被誤認(rèn)為是高風(fēng)險(xiǎn)。所以，紫色組更有可能出現(xiàn)“誤報(bào)”情況，即被誤認(rèn)為是高風(fēng)險(xiǎn)。

有些人會(huì)認(rèn)為紫色組的假陽(yáng)性率較高是歧視。但其他研究人員認(rèn)為，這并不一定是算法偏差的證據(jù)，且可能存在更深層次的不平衡來(lái)源：紫色組可能首先被不公平地聚焦了。過(guò)去的數(shù)據(jù)準(zhǔn)確預(yù)測(cè)了紫色組中將有更多人被重新逮捕，該算法可能會(huì)重現(xiàn)，這也許是根深蒂固的，也即一種先前存在的社會(huì)偏見(jiàn)。

事實(shí)上，從數(shù)學(xué)角度來(lái)說(shuō)，還有更多方法來(lái)定義公平：在今年2月的一次會(huì)議上，計(jì)算機(jī)科學(xué)家Arvind Narayanan發(fā)表了題為“21種對(duì)公平的定義及其政治學(xué)”的演講，他指出還有其他方法。一些研究ProPublica案例的研究人員，包括Chouldechova，指出目前尚不清楚錯(cuò)誤率是否存在偏差。斯坦福大學(xué)的計(jì)算機(jī)科學(xué)家Sharad Goel說(shuō)，“他們反而反映出這樣一種情況：較之于一個(gè)群體，對(duì)另一群體的預(yù)測(cè)可能更難。但事實(shí)證明，這或多或少是一種統(tǒng)計(jì)假象。”

新澤西卡姆登的警察使用自動(dòng)工具來(lái)決定去哪些區(qū)域巡邏

雖然統(tǒng)計(jì)失衡是一個(gè)問(wèn)題，但不公平的更深層面潛藏在算法中——它們可能會(huì)加劇社會(huì)不平等。例如，諸如COMPAS之類(lèi)的算法旨在預(yù)測(cè)未來(lái)犯罪活動(dòng)的可能性，但它只能依賴(lài)于可衡量的因素，例如被捕情況。警務(wù)實(shí)踐的變化可能意味著某些社區(qū)成為不正常的目標(biāo)，人們因其他社區(qū)可能被忽視的犯罪而被捕。華盛頓特區(qū)非營(yíng)利性社會(huì)公正組織Upturn的董事總經(jīng)理David Robinson說(shuō)：“即使我們準(zhǔn)確預(yù)測(cè)某些事情，我們準(zhǔn)確預(yù)測(cè)的事情也可能是不公正的事情。” 這很大程度上取決于法官依賴(lài)這些算法做出決定的程度——但究竟是哪些算法卻鮮為人知。

透明度及其局限性

按照Allegheny社會(huì)服務(wù)部門(mén)采用的方式，人們對(duì)提高透明度抱有很大的興趣，Allegheny與相關(guān)人士合作并向記者敞開(kāi)大門(mén)。AI Now研究所的Crawford說(shuō)，算法通常會(huì)加劇問(wèn)題，因?yàn)樗鼈兪恰胺忾]的，無(wú)法進(jìn)行算法審計(jì)、審查或公開(kāi)辯論”。但目前尚不清楚如何使算法更加開(kāi)放。Ghani說(shuō)，簡(jiǎn)單地發(fā)布模型的所有參數(shù)并不能提供有關(guān)其工作原理的深入見(jiàn)解。透明度也可能與保護(hù)隱私的努力相沖突。在某些情況下，披露有關(guān)算法如何工作的過(guò)多信息可能允許人們對(duì)系統(tǒng)進(jìn)行操縱。

Crawford認(rèn)為，我們需要一系列“正當(dāng)程序”來(lái)確保算法的責(zé)任性。4月，AI Now研究所為有興趣負(fù)責(zé)任地采用算法決策工具的公共機(jī)構(gòu)概述了一個(gè)框架；此外，它呼吁征求社區(qū)意見(jiàn)，并讓人們有能力就對(duì)其做出的決定提起上訴。

許多人希望法律能夠?qū)崿F(xiàn)這些目標(biāo)。Solon Barocas是康奈爾大學(xué)人工智能研究倫理與政策問(wèn)題的研究員，他說(shuō)，這是有一些先例的。在美國(guó)，一些消費(fèi)者保護(hù)規(guī)則在對(duì)其信用做出不利決定時(shí)給予公民解釋。Veale說(shuō)，在法國(guó)，早在20世紀(jì)70年代，就有賦予解釋權(quán)和自動(dòng)決策爭(zhēng)議能力的立法。

歐洲的GDPR將于5月25日生效。一些條款——例如有關(guān)自動(dòng)決策案例中涉及的邏輯信息的權(quán)利——似乎促進(jìn)了算法問(wèn)責(zé)制。但英國(guó)牛津互聯(lián)網(wǎng)研究所的數(shù)據(jù)倫理學(xué)家Brent Mittelstadt表示，GDPR可能通過(guò)為那些想要評(píng)估公平性的人創(chuàng)建一個(gè)“合法的雷區(qū)”來(lái)阻礙它。測(cè)試算法是否偏向某些組別的最佳方法——例如，它是否偏好一個(gè)組別而非另一個(gè)——需要了解進(jìn)入系統(tǒng)的人的相關(guān)屬性。但Mittelstadt表示，GDPR對(duì)使用此類(lèi)敏感數(shù)據(jù)的限制非常嚴(yán)格，處罰如此之高，以至于有能力評(píng)估算法的公司可能沒(méi)有動(dòng)力處理這些信息。“這似乎是對(duì)我們?cè)u(píng)估公平性能力的限制。” Mittelstadt說(shuō)道。

審查算法

與此同時(shí)，研究人員正在推進(jìn)檢測(cè)尚未開(kāi)放供公眾審查的算法偏差的策略。Barocas說(shuō)，公司可能不愿意討論他們?nèi)绾闻鉀Q公平問(wèn)題，因?yàn)檫@意味著首先承認(rèn)存在問(wèn)題。他說(shuō)，“即使他們這樣做，其行為也只是有可能改善偏見(jiàn)但不能消除偏見(jiàn)。所以關(guān)于這一點(diǎn)的公開(kāi)聲明也將不可避免地承認(rèn)問(wèn)題仍然存在。”但最近幾個(gè)月，微軟和Facebook都宣布開(kāi)發(fā)檢測(cè)偏見(jiàn)的工具。

一些研究人員，如波士頓東北大學(xué)的計(jì)算機(jī)科學(xué)家Christo Wilson，試圖從外部發(fā)現(xiàn)商業(yè)算法的偏見(jiàn)。Wilson已創(chuàng)建了模擬乘客，他們聲稱(chēng)正在尋找優(yōu)步出租車(chē)，并將虛擬簡(jiǎn)歷上傳到就業(yè)網(wǎng)站以測(cè)試性別偏見(jiàn)。

其他人正在構(gòu)建希望可以在自我評(píng)估中普遍使用的軟件。今年5月，Ghani和他的同事發(fā)布了名為Aequitas的開(kāi)源軟件，以幫助工程師、政策制定者和分析師審查機(jī)器學(xué)習(xí)模型的偏見(jiàn)。

現(xiàn)正將其虐待兒童預(yù)測(cè)模型擴(kuò)展到科羅拉多州道格拉斯和拉里默縣的Vaithianathan看到了建立更好算法的價(jià)值，即使其所置入的總體系統(tǒng)存在缺陷。她說(shuō)：“算法不能被空降到到這些復(fù)雜的系統(tǒng)之中，我們必須在那些了解更廣泛背景的人的幫助下實(shí)施方案。但即便是最好的努力也將面臨挑戰(zhàn)，因此，在缺乏直接答案和完美解決方案的情況下，透明度是最好的政策。我的原則是：如果不能保持正確，那么至少要保持誠(chéng)實(shí)！”