今年年初，一些受人尊敬的科學家發出了一封關于人工智能（AI）危險性的警告。特別是，他們擔心我們會創建一個能夠自行適應和發展的人工智能，并且會以如此快的速度這樣做，以至于超越人類理解或控制的能力。而且，他們警告說，這可能意味著人類的終結。但我認為人工智能的真正危險性比我們更接近未定義且可能遙遠的未來。

首先，我對整個人工智能啟示情景有著嚴重的懷疑。我們距離創造任何一種具有人類大腦所體現的復雜性的計算系統還有很長的路要走。此外，我們并不真正了解智能是什么，存在什么是必要的，以及它是如何產生的。僅靠復雜性顯然是不夠的。我們人類都有大腦，但智力差異很大。我不知道如果我們沒有真正的規范可以人為地創建智能。

我們所擁有的是對智能行為的朦朧描述，到目前為止所有我們的人工智能工作集中在模仿這種行為的某些元素上。迄今為止的結果提供了一些令人印象深刻的結果，但僅限于狹窄的應用領域。我們有可以擊敗大師的國際象棋程序，推動圖靈測試界限的互動項目，以及可以擊敗人類危險品冠軍的超級計算機。但是沒有任何東西能夠做到這一切以及人類可以做的其他成千上萬的事情。

甚至我們能夠創造出真正聰明的東西，誰能說這樣的實體會是惡意的？

我認為人工智能的危險是真實存在的，并且會在不久的將來出現。但它們不會因為機器的智能性而出現。它們會因為機器不夠智能而出現，但我們無論如何都要控制它們，這樣做就失去了控制自己的能力。

這種切換和技能損失已經是根據紐約客的這篇文章，航空業開始發生。自動駕駛儀足以在沒有人為干預的情況下處理絕大多數情況，因此飛行員的注意力會徘徊，當出現自動駕駛儀無法正常處理的情況時，人類飛行員的驚嚇反應的可能性就會增加。

然后是GIGO因子（GIGO =垃圾輸入，垃圾輸出）。如果人工智能系統獲得的信息不正確，很可能會做出不正確的決定，并帶來潛在的災難性后果。人類能夠從各種來源獲取信息，將它們全部集成，將其與經驗進行比較，并使用結果來識別錯誤的信息源。人工智能設備距離能夠完成同樣的事情還有很長的路要走，但我們預測到2020年全自動汽車的出現。我認為太快會給人工智能控制太多了。

所以，不，我不擔心流氓AI消滅人類。我擔心人工智能不足以控制它尚未準備好的事情。如果要通過人工智能系統消滅人類，那將不是因為人工智能的惡意。這將是因為AI將完全按照設計執行其功能，這與按預期執行的功能不同。