12 月 19 日,OpenAI宣布加緊內部安全防護工作,設立“安全顧問小組”以防范有害人工智能的潛在威脅。這一舉措意味著技術團隊之上增加新的“守護者”,為領導層提供專業意見,且擁有董事會的否決權。
OpenAI將針對每個模型在網絡安全、說服力(如虛假信息)、模型自主性以及 CBRN(化學、生物、放射性和核威脅,如制造新病原體的可能性)等四個方面進行風險評級。
為了防止某些問題得不到充分討論或處理,OpenAI設定了多種可能的緩解策略,例如模型拒絕教授如何制作凝固汽油或管式炸彈的傳授。對于評級認定為“高風險”的模型,將禁止其發布;而若模型存在“關鍵風險”,則終止其后續研發。
然而,負責研發模型的人員并非最佳安全評估和建議者。為此,OpenAI正籌建一支“跨職能安全咨詢小組”,涉足技術領域,審查研究人員報告,從更全面的視角提供建議,發掘此前未曾意識到的隱憂。
這個過程要求安全專家的意見同步反饋至董事會及領導層,領導層將權衡利弊并作出決定;盡管董事會享有最終決定權,但他們也可以隨時撤回決定,防止潛在的安全隱患被忽略。
本次更新的重要焦點在于,OpenAI前任首席執行官Sam Altman因模型安全問題被董事會罷免。此次高層人事變動,導致兩位主張謹慎做事的董事Ilya Sutskever和 Helen Toner離任。
然而,業界仍存擔憂,若專家小組提出建議、CEO據此決策,眼下的 OpenAI董事會是否有足夠力量制止此舉?此外,OpenAI允諾引入獨立第三方審計體現的透明度問題是否真正得到解決?
-
網絡安全
+關注
關注
10文章
3191瀏覽量
60075 -
人工智能
+關注
關注
1794文章
47622瀏覽量
239586 -
OpenAI
+關注
關注
9文章
1121瀏覽量
6632
發布評論請先 登錄
相關推薦
評論