人工智能的發展是否會危及人類福祉？如何保證人工智能的安全可控？11月2日，2019第一屆可信人工智能論壇在北京舉行，來自中國科學院、北京理工大學、上海交通大學等機構的科學家圍繞上述問題進行了探討。

“可信”是計算機領域的一個概念。在可信計算工作組TCG的定義中，如果一個實體的行為總是能以預期的方式達到預期的目標，那么這個實體就是“可信”的。 電氣電子工程師學會IEEE則將“可信”定義為一個計算機系統提供服務的可信賴性能夠被論證。雖然不同機構對“可信”的定義略有差別，但總體而言，“可信”主要強調的是計算機系統和其處理過程的可預測性、可驗證性。

近年來，“可信”的概念也被引入到人工智能領域，許多國家或組織在制定人工智能發展指南時，都強調了“可信”的重要性。例如，歐盟于今年4月推出的倫理準則就指出，“可信人工智能”有兩個必要的組成部分，一是尊重人類的基本權利、核心原則及價值觀，二是在技術上安全可靠。這也是目前全球的廣泛共識。

在11月2日的論壇上，中國科學院院士、上海人工智能安全專家委員會主任何積豐做了題為《安全可信人工智能：問題與展望》的報告。他指出，人工智能是一種“賦能”技術，對于其安全問題，應該從兩個層面來討論，一層是人工智能技術本身的安全問題，一層是人工智能與行業結合后的潛在風險。

在何積豐看來，人工智能的安全發展面臨著“內憂外患”，對內要處理數據偏差、系統失誤等情況，對外則要應對黑客攻擊、場景受限等問題。他解釋說，人工智能系統與傳統的軟件系統有很大區別，這使得其安全發展面臨一系列新挑戰。

例如，科學家訓練人工智能算法時會設置獎勵函數，以幫助算法學得更好。但在實踐中，人工智能也鬧出了不少笑話：一個機械手被要求把木塊挪到桌子的指定地點，于是機械手學會了挪桌子；讓程序學習檢測皮膚癌，程序卻發現惡性皮膚病變的照片里往往放著一把尺子，便以尺子來作為判斷標準。

“獎勵函數選擇合理性在哪里？什么情況下可以擴展人工智能的功能和使用范圍？怎么實現安全監管？”何積豐說，獎勵函數的錯誤解讀，就是人工智能“內憂”問題中的一個典型。“傳統軟件里面有目標系統，系統的可能行為一般是能夠進行描述的。換句話說，用戶有明確的要求，系統應該給我完成什么任務？但是機器學習的目標系統行為與樣本選擇有關，沒辦法驗證，也沒辦法進行有效的分析。”

人工智能和具體的行業結合后，又會有哪些潛在風險？何積豐以網絡安全為例做了說明。他認為，人工智能將從設計、防護和認證三個方面推動網絡安全技術的發展，但人工智能本身的算法、算力、網絡體系和數據體系也存在安全需求。“尤其是是金融風控和工業互聯網領域，很多設備還是依靠外國，還有很長的路要去走。另外也需要建立相應的法律、法規、標準和社會倫理準則。”

何積豐認為，可信的人工智能應該具備魯棒性、透明性、可解釋性、公平性等特征，并且具有自適應和自我反省的能力。同時，人類應該為人工智能技術的開發設定邊界，不能做無限開發。

在當天的圓桌討論環節，多位學者就人工智能的發展現狀進行了探討。上海師范大學副研究員王俊龍提到，人工智能快速發展，行業亂象也隨之出現，他甚至曾看到從業者公然宣稱要“不擇手段”地收集數據。

數據是人工智能發展的重要基礎，但今年以來，多家數據公司因違法違規問題被調查，揭開了行業亂象一角。上海交通大學數據法律研究中心執行主任何淵認為，這也與法律的相對滯后有關。例如，刑法雖然就個人信息買賣作出了規定，但對個人信息收集并沒有詳細規定。監管上的模糊地帶，導致很多公司缺乏自律、鋌而走險。

反觀美國和歐洲，近年來則屢次曝出天價處罰案例，谷歌、Facebook等大企業都曾受罰。在何淵看來，歐美的監管方式有值得借鑒之處。在個人信息保護法和數據安全法尚未出臺的情況下，中國可考慮設置專門的行政監管機構，“處罰力度跟歐美看齊”。

“在法律治理當中，技術的重要性正在快速上升。 技術產生了新的社會風險，沖擊現行的法律體系，也對執法理念、執法模式提出了新的要求。”北京師范大學網絡法治國際中心執行主任吳沈括說。

上海交通大學科學史與科學文化研究院副教授閆宏秀表示，人工智能倫理是人工智能未來發展的“錨定樁”。有效的人工智能倫理被視為推進人工智能向善、確保人類對其可控及不受傷害、確保人類尊嚴與人類福祉的一個重要保障，但人工智能倫理的構建并非易事。“可信任人工智能”應基于信任邊界厘清的前提，兼顧技術倫理學的通用原則和人工智能自身的技術特性，確保人工智能向善。

責任編輯：ct