來源：騰訊科技
作者：北京大學新聞與傳播學院教授 胡泳

在GPT-4火熱出爐、人工智能軍備競賽方興未艾的形勢下，包括埃隆·馬斯克（Elon Musk）和蘋果公司聯合創始人史蒂夫·沃茲尼亞克（Steve Wozniak）在內的千餘名科技領袖簽署了一封公開信，懇請研究人員在六個月內暫停開發比GPT-4更強大的人工智能系統。 

首先，面對人工智能，公開信是老套路了。2015年1月，霍金（Stephen Hawking）和馬斯克及數十位人工智能專家就簽署過一封關於人工智能的公開信，呼籲對人工智能的社會影響進行研究，並阻止研究人員創造出不安全或無法控製的系統。2018 年，組織這一次公開信的生命未來研究所（Future of Life Institute，FLI）還起草過另外一封信，呼籲製定“針對致命自主武器的法律”，簽署人當中也有馬斯克。

其次，對簽名者的名單要謹慎對待，因為有報道稱某些名字被添加到名單里是惡作劇，例如OpenAI首席執行官山姆·阿爾特曼（Sam Altman）也曾短暫地現身其中。有些簽署者明確表示並不同意公開信的所有內容，只是因為“傳達的精神是對的”而表示支持。當然，更多的人工智能研究者和專家公開表示不同意這封信的提議和方法。 

信中提到了對錯誤信息傳播、勞動力市場自動化風險以及文明失控的可能性的擔憂。

以下是公開信要點：

失控的人工智能

各家公司正在競相開發先進的人工智能技術，連創造者都無法“理解、預測或可靠地控製”。

信中寫道：“我們必須問自己：我們應該讓機器用宣傳和不真實的東西充斥我們的信息渠道嗎？我們是否應該把所有的工作都自動化，包括那些有成就感的工作？我們是否應該開發非人類的大腦，使其最終在數量上超過我們，在智慧上勝過我們，淘汰並取代我們？我們是否應該冒失去對我們文明控製的風險？這些決定絕不能委托給未經選舉的技術領袖。只有當我們確信強大的人工智能系統的效果是積極的，其風險是可控的，才應該開發。”

“危險的競賽”

這封信警告說，人工智能公司陷入了“開發和部署”新的先進系統的“失控競賽”。

最近幾個月，OpenAI 的ChatGPT的病毒式流行似乎促使其他公司加速發布自己的 AI 產品。公開信敦促企業收獲“人工智能之夏”的回報，同時讓社會有機會適應新技術，而不是匆忙進入“毫無準備的秋天”。

“六個月的暫停期”

信中說，暫停開發將為人工智能系統引入“共享安全協議”提供時間。信中還稱，“如果無法快速實施這樣的暫停，政府應該介入並製定暫停期”。 

公開信表示，暫停應該是從圍繞先進技術的“危險競賽”中後退一步，而不是完全停止通用人工智能（Artificial general intelligence，AGI）的開發。

一些支持FLI的人認為，研究人員正處於不知不覺中創造出危險的、有知覺的人工智能系統的邊緣，就像在《黑客帝國》和《終結者》等流行的科幻電影系列中看到的那樣。更加激進的人士如埃利澤·尤德科夫斯基（Eliezer Yudkowsky）認為，應該無限期暫停新的大規模訓練，而且是在全世界範圍內暫停。“關閉所有的大型GPU集群（大型計算機農場，最強大的人工智能在這里得到完善）。關閉所有的大型訓練運行。對任何人在訓練人工智能系統時被允許使用的計算能力設置上限，並在未來幾年內將其下調，以補償更有效的訓練算法。立即製定多國協議，防止被禁止的活動轉移到其他地方。” 

而激烈反對的人甚至失去了禮貌破口大罵。我認識的紐約城市大學新聞學教授傑夫·賈維斯（Jeff Jarvis）一掃往常心目中的溫文印象，在推特上發帖說：“這真XX的可笑，如果我見過的話，這是#道德恐慌#的一個典型標本：呼籲暫停訓練人工智能。谷登堡：停止你的印刷機! 有這麽多疑為道德企業家和注意力成癮者的人士簽名。” 

公平地說，雖然業界絕不會同意暫停六個月，但人工智能發展眼下的發展將速度置於安全之上，的確需要引發社會關注。我認為我們需要敲響盡可能多的警鍾，以喚醒監管者、政策製定者和行業領導者。在其他情形下，微妙的警告可能就足夠了，但語言模型技術進入市場的速度比此前人們經歷過的任何技術都要快。放緩一下腳步，思考一下前路，對社會適應新的人工智能技術是必要的。

但我們看到的情形恰恰相反，在危險的競賽中，人人都在加碼，因為賭注在加大。“一場比賽從今天開始”，微軟首席執行官薩蒂亞·納德拉（Satya Nadella）在 2 月 7 日向谷歌發出了挑戰， “我們要行動，而且行動要快”。為應對ChatGPT 的成功，谷歌宣布進入“紅色代碼”企業緊急狀態，並將自己的聊天機器人 Bard 推向市場，在一次演示中表示，它將“重新校準”在發布基於 AI 技術的工具時願意承擔的風險水平。在 Meta 最近的季度財報電話會議上，首席執行官馬克·紮克伯格（Mark Zuckerberg）宣布他的公司目標是“成為生成式人工智能的領導者”。如此熱浪滾滾，技術帶來的錯誤和危害必然有所增加——人們對人工智能的反對也會增加。

人工智能安全初創公司SaferAI的首席執行官西米恩·坎珀斯（Simeon Campos）說，他簽署這封信是因為，如果連這些系統的發明者都不知道它們是如何工作的，不清楚它們有什麽能力，也不了解對它們的行為如何進行限製，那麽就不可能管理系統的風險。“我們正在將這類系統的能力擴展到前所未有的水平，在全速競賽中對社會產生變革性影響。必須放慢它們的發展速度，讓社會適應並加快替代性的AGI架構，這些架構在設計上是安全的，並且可以正式驗證。”

公開信的簽署者、紐約大學名譽教授加里·馬庫斯（Gary Marcus）相信，這封信將成為一個轉折點。“我認為這是AI史上——也許也是人類史上——一個非常重要的時刻。”這個恐怕誇大其詞了。公開信在一些重要的地方是錯誤的。信中說：“正如大量研究表明的那樣，具有人類競爭力的人工智能系統會對社會和人類構成深遠風險。”其實風險更多來自於大型語言模型（large language model, LLM）在一個壓迫性體系中的使用，這比假想的人工智能反烏托邦前景要具體和緊迫得多。

不論我們多麽驚歎LLMs的“智能”，以及它的學習速度——每天都有各種非常進取的創新出現，微軟的一組研究人員在測試了GPT-4之後甚至報告說，它閃現了通用人工智能的火花——然而LLMs在本質上不可能擁有自我意識，它們只是在龐大的文本庫中訓練出來的神經網絡，通過識別模式來產生自己的概率文本。風險和危害從來都非源出強大的人工智能，相反，我們需要擔心的是，大型語言模型的權力集中在大玩家手中，復製壓迫體系，破壞信息生態系統，以及通過浪費能源資源破壞自然生態系統。

大公司對它們正在做的事情變得越來越神秘，這使得社會很難抵禦可能出現的任何危害。公開信沒有說到社會正義，而像OpenAI這樣的公司依賴於全球南方國家[編注1]的剝削性勞動，在那里使用時薪不到 2 美元的肯尼亞外包工人來審查有害內容，包括仇恨言論和暴力，以教導人工智能避免這些內容。此外，還有人工智能用於操縱的可能性：現在已經存在通過個性化對話影響活動的技術，這些活動根據用戶的價值觀、興趣和背景來定位用戶，以推動銷售、宣傳或錯誤信息。也就是說，人工智能驅動的對話影響有可能成為人類創造的最強大的有針對性的說服形式。正如馬庫斯所說，他並不同意其他人對智能機器超出人類控製的擔憂，更加擔心的是被廣泛部署的“平庸的人工智能”，比如被犯罪分子用來欺騙人們或傳播危險的錯誤信息。

編注1：傳統的“南方”“北方”概念出現在上世紀五六十年代，在殖民地解放運動風起雲湧的背景下，一些擺脫殖民枷鎖走上獨立發展道路的國家開始使用“南方”，來表明發展中世界與工業化國家代表的“北方”之間存在系統性不平等。

其他問題包括隱私問題，因為 AI 越來越能夠解釋大型監控數據集；版權問題，包括 Stability AI 在內的公司正面臨來自藝術家和版權所有者的訴訟，他們反對未經許可使用他們的作品來訓練 AI 模型；能源消耗問題，每次提示 AI模型時，它都需要能源。人工智能模型使用與遊戲計算機相同的強大 GPU 處理器，因為它們需要並行運行多個進程。

公開信渲染人工智能的末日圖景，本身也吊詭地充滿了人工智能的炒作，使我們更難解決真實的、正在發生的人工智能危害。在這方面，公開信基本上構成了一種誤導：把大家的注意力引向假設的LLMs的權力和危害上，並提出一種非常模糊和無效的解決方式，而不是著眼於此時此地的危害並推動解決相關問題——例如，在涉及LLMs的訓練數據和能力時要求更多的透明度，或者就它們可以在何處和何時使用進行立法。

公開信提到“人工智能將引起的戲劇性的經濟和政治混亂”，實際上，人工智能並不會引發這一切，技術背後的企業和風險投資公司卻會。它們希望盡可能地賺取更多的錢，卻很少關心技術對民主和環境的影響。危言聳聽者大談特談人工智能造成的傷害，已經讓聽者覺得並不是“人”在決定部署這些東西。

碰巧地是，OpenAI也擔心人工智能的危險。但是，該公司希望謹慎行事而不是停下來。“我們希望成功應對巨大的風險。在面對這些風險時，我們承認理論上看似正確的事情在實踐中往往比預期的更奇怪”，阿爾特曼在 OpenAI 關於規劃通用人工智能的聲明中寫道。“我們相信我們必須通過部署功能較弱的技術版本來不斷學習和適應，以最大限度地減少‘一次成功’的情況。” 

換句話說，OpenAI正在正確地遵循人類通常的獲取新知識和開發新技術的路徑——即從反復試驗中學習，而不是通過超自然的先見之明“一次成功”。這種做法是正確的，同時，把人工智能工具交給普通大眾使用也是對的，因為“民主化的訪問將導致更多更好的研究、分散的權力、更多的利益以及更多的人貢獻新想法”。我們只是同時也需要人工智能實驗室提供關於訓練數據、模型架構和訓練製度的透明度，以便全社會更好地研究它們。

微軟說它是“由以人為本的道德原則驅動的”；谷歌說它將“大膽而負責任地”向前邁進；而OpenAI說它的使命是用技術“造福全人類”。我們看到許多這樣的公司推出了強大的系統，但也在某種程度上推卸責任，並且不太清楚它們將如何管理自身而成為真正的擔責者。時間會告訴我們這些宣言是否會有行動的支持，或者充其量只是聊天而已。

編輯/jayden