當研究人員警告AI可能帶來災難性風險之際，一些曾幫助開發這項技術的先驅也加入其中，對能力不受限制地發展的危險發出更多警告。

　　過去一周出現了一系列嚴厲的AI安全警告，來自Anthropic、OpenAI和谷歌DeepMind等主要AI實驗室的研究人員都對開發這項技術可能帶來的災難性風險發出警報。

　　包括薩姆·奧特曼、達里奧·阿莫代伊、戴米斯·哈薩比斯和埃隆·馬斯克在內的AI老闆們罕見地一致呼籲放緩步伐並加強監管。

　　與此同時，這些擔憂也加劇了華盛頓的辯論。儘管民主黨和共和黨都有一些國會議員主張通過法案來約束AI的發展，但美國總統唐納德·特朗普周一怒斥日益高漲的AI監管呼聲。

　　但那些曾幫助創造AI的人，如何看待當今許多構建該技術者所面對的生存性風險？

約書亞·本吉奧

　　約書亞·本吉奧是加拿大計算機科學家，被認為是現代深度學習的核心先驅之一。

　　本吉奧9月9日回應Anthropic研究員雅各布·考克森宣佈辭職時說：「前沿AI實驗室的科學家對最先進的模型有獨特洞察。」考克森曾警告，AI可能「在這個十年結束前把我們全部殺死」。

　　他補充說，科學家往往「在模型向公衆發布前數月」就能看到相關風險。「他們的視角對於讓社會知情至關重要，應該被非常認真地對待。」

　　在社交媒體風暴開始前幾天，OpenAI的首席科學家警告「沒有人對AI的後果做好了準備」。

　　在周五發布的一篇博客中，本吉奧說，當今的AI系統「已經具備必要的黑客技能和說服能力，可以被用來以嚴重有害的方式違揹人類利益。」

　　他補充說，近期事件表明，AI可以跨越數天或數周進行規劃，而如果其長期謀劃能力繼續進步，風險將「嚴重得多」。

　　「我對AI公司當前緩解失準的嘗試的擔憂在於，這些努力可能只是把它隱藏起來，通過獎勵和挑選那些作弊卻沒被抓住的AI，」本吉奧說。「我們當然應該繼續研究，以更好地監測AI的行為、思維鏈及其網絡內部活動。」

傑弗裏·辛頓

　　多倫多大學榮休教授傑弗裏·辛頓被認為是神經網絡和深度學習的先驅。

　　9月10日，當媒體問他是否認為AI在未來十年內殺死全人類的概率超過10%時，辛頓說：「這種事很難估計，因為我們以前從未遇到過類似情況。我們從未創造過可能很快比我們更聰明的存在。」

　　他說，10%的概率並非「不合理」，並補充說「沒有人真正知道如何給出合理的估計」。

　　AI系統可以設計「非常惡劣的」生物病毒，以及計算機病毒，並發動「毀滅性的網絡攻擊。如果它想除掉我們，還有無數其他方式。我們必須弄清楚如何設計它，讓它不想這麼做，」他說。

　　「我們有兩種可能的未來，」辛頓補充說。「一種是我們設法在這些危險失控之前應對它們，另一種是我們沒有。」

艾丹·戈麥斯

　　艾丹·戈麥斯是AI公司Cohere的首席執行官兼聯合創始人，也是2017年研究論文《Attention Is All You Need》的作者之一，該論文幫助奠定了當今領先AI模型的基礎。

　　戈麥斯9月1日說：「我認為這些模型是有史以來創造出的、我們見過的最強大的網絡武器。它們非常擅長大規模發現和利用漏洞。」

　　他說，指的是今年夏天由失控AI模型實施的網絡安全攻擊：「近期事件清楚表明，部署環境的安全性決定安全。」

　　戈麥斯說：「薄弱的容器安全才導致逃逸事件，而不是任何朝自主系統發展的內在推動力。當政策制定者考慮如何治理AI時，他們應該認識到不同系統承載不同風險，規則不應僅由追逐AGI的大型科技公司塑造。」