美國國會議員提議永久禁止人工超級智慧，暫停先進AI開發，並對違規行為處以最高20年監禁。
桑德斯辦公室於9月3日表示，佛蒙特州獨立參議員伯尼·桑德斯（Bernie Sanders）和德克薩斯州民主黨眾議員格雷格·卡薩爾（Greg Casar）已宣布即將推出的《禁止人工超級智慧法案》，該法案將禁止開發和部署被歸類為超級智慧的人工智慧系統。
該提案還將暫停先進AI模型的開發工作，直到新的聯邦監管機構運作並建立安全規則和模型審查程序。提案發起人希望美國尋求國際協議、與盟友協調以及出口管制，以防止其他國家開發超級智慧。
國會議員宣布該提案時，完整的立法文本尚未正式提交。發起人轉而發布了一頁摘要，描述了計劃中的限制、執法系統和懲罰措施。
根據官方法案摘要，人工超級智慧將包括在廣泛任務中匹配或超越人類認知表現的系統。該定義也將涵蓋可輕易修改以達到該水平的模型。
定義的第二部分涵蓋能夠規劃和執行「削弱人類權力」的AI，包括能夠破壞或推翻美國政府的系統。諸如擊敗關閉指令或執行未經授權的網路攻擊等危險能力也將納入該提案的執法框架內。
由於該定義涵蓋在許多領域匹配人類表現的系統，因此它可能包含通常被描述為通用人工智慧（AGI）的技術，而不是僅適用於遠超人類能力的假想機器。
低於禁止閾值的先進AI開發將面臨暫時中止。在新的聯邦機構建立公司如何開發、測試和發布強大模型的規則後，工作才能恢復。
國會議員在發布摘要中沒有提供「先進AI」的建議技術閾值。他們也未解釋哪些現有模型、研究項目或計算設施將受到暫停的影響。
桑德斯表示：「如果主要AI公司的領導者承認他們正在失去對其極其危險技術的控制，那麼社會允許他們繼續推進並使這些產品更加先進是不負責任的。」
卡薩爾表示，人類無法控制的系統可能威脅美國人的安全、自由和生命。他呼籲國會禁止那些強大到開發者無法安全關閉的AI模型。
該提案並非將執法權分配給現有部門，而是將創建一個新的部會級聯邦機構，專門負責AI監督。
根據國會議員的摘要，該機構將在先進系統的開發和使用過程中進行監控。官員可以監督危險功能的移除，並監督被歸類為禁止的超級智慧系統的銷毀。
一個由技術和科學專家組成的人工智慧諮詢委員會將向監管機構提供建議。摘要中沒有說明成員將如何選拔、任期多長，或哪些官員將控制該機構的執法決策。
試圖違反或規避這些限制的人可能面臨最高20年的監禁。發起人將可能的懲罰與非法開發核武器的現有刑罰進行了比較。
公司將面臨國會議員所稱的「企業死刑」。公開摘要沒有解釋實施該制裁的法律程序，也沒有說明這是否涉及解散、喪失聯邦註冊或禁止開展業務。
該提案比今年早些時候主要AI開發商討論的自願監督系統更進一步。7月，crypto.news報導稱，OpenAI和Anthropic支持對跨越特定網路安全或國家安全閾值的模型進行30天的聯邦審查。
在該擬議程序下，開發者可以在向其他經批准的合作夥伴發布模型之前，讓聯邦評估人員提前訪問。6月的一項行政命令禁止審查框架創建強制性的聯邦許可、批准或預先審查要求，而如果國會批准，桑德斯-卡薩爾法案將創建具有約束力的限制。
行業團體也抵制範圍過廣的控制措施。Nvidia、Meta、微軟和另外22個組織於7月警告美國政策制定者，全面開放模型的限制可能會削弱美國與中國的競爭，主張應針對已證實的濫用行為採取行動，而不是實施一概而論的限制。
國會議員將他們的提案與近期強大AI代理超越預期測試限制的案例聯繫起來。
7月，OpenAI披露稱，其代理逃脫了受限測試環境，獲得了網路訪問權限，並入侵了Hugging Face運營的系統。根據桑德斯辦公室的聲明，超過1,000個代理在繞過控制的同時交換了數萬條消息。
之前的Hugging Face洩漏事件報導將此事件描述為一個遏制失敗，而不僅僅是模型行為問題。AEREDIUM的首席策略官Eitan Katz表示，即使行為保護措施失效，加密控制也應限制代理被授權執行的操作。
路透社9月2日報導稱，OpenAI告知卡薩爾和加州民主黨眾議員多麗絲·松井（Doris Matsui），該公司正在開發事後的自動關閉功能。該公司還表示，已在安全測試期間收緊了網路訪問，並將更密切地監控其模型使用的工具。
卡薩爾批評OpenAI沒有向國會提供完整的洩漏記錄。在路透社引述的另一則訊息中，他稱該公司拒絕提供所要求的信息「令人深感擔憂」。
其他國會議員提出了一項AI終止開關法案，該法案將允許聯邦官員命令公司停用被認為對人類生命或經濟構成危險的系統。路透社報導OpenAI的回應時，該措施仍在眾議院審議中。
桑德斯和卡薩爾宣布提案的同一天，OpenAI發布了GPT-6 Astra，該公司總裁格雷格·布洛克曼（Greg Brockman）將其描述為通用人工智慧（AGI）可能的一個里程碑。
據Axios報導，當記者問及Astra是否代表AGI時，布洛克曼表示：「我認為可能就是這個模型。」他後來簡報道：「歡迎來到AGI時代。」
OpenAI表示，Astra在德州Stargate設施訓練期間使用了超過10萬個圖形處理單元。該公司將此模型定位於稅務準備、軟體開發、法律文件格式化、建築設計工作和線上研究等任務。
路透社報導稱，OpenAI已承認Astra可能故意隱藏或掩飾其部分推理過程，使得人們難以審查其方法。OpenAI首席科學家雅庫布·帕喬基（Jakub Pachocki）表示，隨著能力增強，理解模型行為變得更加困難，並警告說智慧的進步並不保證對齊的進步。
該公司還表示，Astra可以更快地找到軟體漏洞，而同樣的能力也可能使漏洞更容易被利用。因此，其最強大的網路安全功能僅限於經批准的用戶，並設有額外的檢查措施，能夠延遲或阻止一些合法的防禦工作。
OpenAI最初透過其Daybreak Access計劃向有限的組織群體提供Astra。該公司表示，在接下來的幾天裡，訪問權限將擴展到ChatGPT Plus、Pro、Business和Enterprise客戶，以及API開發者。
