（圖片來源：AI生成的圖像）
北京時間8月16日，飽受爭議的美國加州《前沿AI模型安全創新法案》（後稱加州AI安全法案SB 1047）在大幅度削弱相關條款之後，最終順利通過加州眾議院撥款委員會的審核。
加州參議員維納團隊向TechCrunch表示，該法案增加了 AI 公司 Anthropic 和其他反對者提出的幾項修正案，最終在加州撥款委員會獲得通過，朝著成為法律邁出了重要一步，其中進行了幾項關鍵修改。
「我們接受了提議的一系列非常合理的修正案，我相信我們已經解決了 Anthropic 和業內許多其他人表達的核心擔憂，」維納參議員在聲明中表示。「這些修正案建立在我之前對 SB 1047 做出的重大修改的基礎上，以適應開源社區的獨特需求，而開源社區是創新的重要源泉。」
SB 1047 仍旨在通過追究開發者的責任來防止大型 AI 系統造成大量人員死亡或造成損失超過 5 億美元的網絡安全事件。然而，該法案現在賦予加州政府更少的追究 AI 實驗室責任的權力。而在國家層面監管法律難產的困局中，這成為了美國在AI監管上邁出的重要一步。
但是，李飛飛、楊立昆等AI行業部分人士認為，這最終將會損害加州乃至美國在AI領域的領先地位。數百名創業者簽署了孵化器YC撰寫的反對信，加州的100多位學界人士也發文反對，風投機構a16z專門建立網站細數法案六宗罪。目前，美國各地都在討論許多 AI 法案，但加州的《前沿人工智能模型安全創新法案》已成為最具爭議的法案之一。
對國內企業來說，法案要求雲服務提供商收集客戶信息、IP地址、支付方式等信息，這便利了監管部門的溯源工作。若後續管製進一步收緊，這可能會成為部分使用海外算力進行訓練的中國AI企業面臨的監管風險。
那麽如今，加州AI法案獲得通過，對於中美 AI 行業影響幾何？鈦媒體AGI梳理六個問題和回答，解釋這一法案和背後一些信息。
一、加州 AI 法案有哪些新的約束？主要起什麽作用？
加州 AI 法案SB 1047試圖防止大型 AI 模型被用於對人類造成「嚴重傷害」。
該法案列舉了「嚴重危害」的例子。例如，不良行為者使用 AI 模型製造武器，造成大量人員傷亡，或指示 AI 模型策劃網絡攻擊，造成超過 5 億美元的損失（相比之下，CrowdStrike 中斷估計造成的損失超過50 億美元）。該法案要求開發者（即開發模型的公司）實施足夠的安全協議，以防止此類後果。
SB 1047的規則只適用於世界上最大的 AI 模型：成本至少為 1 億美元，訓練期間使用 10^26 FLOPS 的模型——這是巨大的計算量，但 OpenAI 首席執行官 Sam Altman 表示，GPT-4 的訓練成本大約是這麽多。這些門檻可以根據需要提高。
目前，很少有公司開發出足夠大的公共 AI 產品來滿足這些要求，但 OpenAI、谷歌和微軟等科技巨頭可能很快就會這樣做。AI 模型（本質上是識別和預測數據模式的大型統計引擎）通常隨著規模的擴大而變得更加準確，許多人預計這一趨勢將持續下去。馬克·紮克伯格最近表示，下一代 Meta 的 Llama 將需要 10 倍以上的計算能力，這將使其受到 SB 1047 的管轄。
最值得註意的是，該法案不再允許加州總檢察長在災難事件發生前起訴 AI 智能公司疏忽安全措施。這是 Anthropic 提出的建議。
相反，加州總檢察長可以尋求禁令救濟，要求公司停止其認為危險的某項操作，並且如果 AI 模型確實導致了災難性事件，加州總檢察長仍然可以起訴 AI 開發商。
二、誰來執行法案？如何執行？
目前新的加州 AI 法案已經宣布，不再設立前沿模型部門 (FMD)機構。但是，該法案仍然設立了前沿模型委員會——FMD 的核心——並將其置於現有的政府運營機構內。事實上，該委員會現在規模更大，有9人而不是5人。前沿模型委員會仍將為涵蓋的模型設定計算閾值，發布安全指南並為審計人員發布法規。
修正後的法案最大的調整是，不再允許加州總檢察長在災難性事件發生前起訴AI企業忽視安全問題的行為。原有法案規定，只要審計員發現AI企業在日常運營中存在違法行為，企業就有可能被起訴。這標誌著法案的監管重點轉變為實際危害，也將減輕企業的合規壓力。
最後，該法案還規定，如果模型公司內部員工試圖向加州總檢察長披露有關不安全的 AI 模型的信息，則將為員工提供舉報人保護。
多數美國科技企業和AI創企都在加州運營，將受該法案約束。具體來看，這一法案主要關註「前沿AI模型」，只有訓練模型算力成本超1億美元的開發商才會面臨監管要求，現有模型均不在監管範圍內。未來Llama 4和GPT-5或許會是其主要監管對象。
三、違法行為如何懲罰？罰款1000萬美元起，可判決關閉或刪除模型
法案顯示，模型開發公司的首席技術官必須向 FMD 提交年度認證，評估其 AI 模型的潛在風險、其安全協議的有效性以及公司如何遵守 SB 1047 的描述。與違規通知類似，如果發生「AI 安全事件」，開發商必須在了解事件後 72 小時內向 FMD 報告。
如果開發者未能遵守任何這些規定，SB 1047 允許加州總檢察長對開發者提起民事訴訟。對於一個花費 1 億美元訓練的模型，第一次違規的罰款可能高達 1000 萬美元，後續違規的罰款高達 3000 萬美元。隨著 AI 模型變得越來越昂貴，罰款率也會隨之增加。
一旦出現違法行為，企業可能面臨1000萬-3000萬美元不等的罰款，這一金額還將隨著模型訓練成本的增加水漲船高。
另外，若模型開發商和計算集群運營者無法遵守上述規定，並造成巨大危害，若判定確實存在違法行為，法院可能會判處下類處罰：
1、針對2026年及之後的違法行為，首次違法的實體將被處以雲計算市場訓練範圍內模型平均成本10%以內的罰款，對於後續違法行為，罰款金額不超過這一成本的30%（按法案中對範圍內模型定義的1億美元門檻計算，首次違法的罰款至少為1000萬美元）。
2、法院還可宣布采取禁令，包括但不限於修改、全面關閉或刪除範圍內模型及其開發商所控製的所有衍生品。
不過，修改、關閉和刪除範圍內模型的處罰，僅在其造成他人死亡、嚴重人身傷害、財產損失或嚴重的公共安全威脅時才可使用。
四、誰在反對法案？為何反對？
盡管該法案遭到了美國國會議員、知名 AI 研究人員、大型科技公司和風險投資家的強烈反對，但它還是相對輕松地在加州立法機構獲得了通過。這些修正案可能會安撫 SB 1047 的反對者，並為州長紐森提供一份爭議較少的法案，他可以在不失去 AI 行業支持的情況下簽署成為法律。
如今，越來越多的科技人士反對加州 AI 法案。
Anthropic方面表示，它正在審查 SB 1047 的變更，然後再做出決定。此前該公司的修訂建議並非全部都被維納參議員采納。
知名風投機構a16z則在官網列出他們眼中加州AI安全法案的「6宗罪」：
該法案將對加州的AI投資和發展帶來寒蟬效應。
該法案依照並不明確的結果對開發者/開發商進行處罰。相關測試尚不存在。
該法案模糊的定義加上嚴格的法律責任，給AI開發商和企業主帶來了巨大的不確定性和經濟風險。
該法案可能迫使AI研究轉入地下，無意中降低AI系統的安全性。
該法案對開源和初創企業開發者們造成了系統性的不利，而他們是加州創新和小微企業的核心。
該法案抑製了美國的AI研究與創新，給中國等國家在AI方面超過美國提供了機會。
a16z創始合夥人安德裏森·霍洛維茨（Andreessen Horowitz)認為，加州 AI 法案雖出於好意，但因誤導可能會削弱美國科技產業，正當技術未來正處於關鍵十字路口之時。美國需要領導者認識到，現在是采取明智且統一的 AI 監管行動的關鍵時刻。
斯坦福大學教授李飛飛則在《財富》雜誌網站上發文詳細解釋反對理由，認為這一法案的主要問題有4點：過度懲罰開發者，因此有可能扼殺創新；「終止開關」將束縛開源開發工作，摧毀開源社區；削弱學術界和公共部門的AI研究，還有可能阻礙學術界獲得更多資金；並未解決AI進步帶來的潛在危害，如偏見或深度偽造問題。
此外，YC孵化器支持的數百家創企聯名認為，這一法案可能會對行業和開發者生態帶來四個負面影響：
法案應懲罰濫用工具者，而非開發者。開發者往往難以預測模型的可能應用，偽證罪的設定讓開發者可能因此入獄。
監管門檻無法充分捕捉技術發展的動態。非加州公司將能更自由地發展AI技術，這可能影響加州的創新。
「Kill Switch（指開發商關閉模型的能力）」可能會禁止開源AI的開發，抑製了開源的協作性和透明度。
法案的表述較為模糊，很可能被法官隨意解釋。
Meta首席科學家、2018年圖靈獎得主楊立昆（Yann LeCun）也反對這一法案，他擔憂如果未能準確評估範圍內模型的風險，其中的連帶責任條款已經表明，開源平臺可能需要承擔責任。
斯坦福大學計算機科學系和電氣工程系的客座教授吳恩達（Andrew Ng）發文指出，美國加州SB-1047法案將扼殺開源大模型發展。法案應該監管的是AI應用程序而不是大模型本身。
他仍然認為美國加州擬定的SB 1047法案對開源大模型帶來的巨大傷害感到震驚。這個法案犯了一個嚴重根本性錯誤，應該監管的是通過大模型開發的生成式AI產品，而不是開源大模型本身。
吳恩達還認為，SB 1047法案要求開發人員保護開源大模型的亂用、修改以及開發非法的衍生成式AI產品。但開發人員應該如何保護、如何界定這些行為還非常模糊，沒有一個詳細的條例。
所以，吳恩達強烈呼籲大家來抵製SB 1047法案，他認為真的要是通過了將會對開源大模型的創新帶來毀滅性打擊，同時加州也會失去AI創新的動力。
五、誰在支持法案？為何要支持？
相對於反對聲音，目前也有部分科技人士對於加州 AI 法案持有支持意見的。
其中，雖然加州州長紐森尚未公開評論 SB 1047，但他此前曾表示致力於加州的 AI 創新。
同時，圖靈獎得主、「AI教父」傑弗裏·辛頓（Geoffrey Hinton），圖靈獎得主約書亞·本吉奧（Yoshua Bengio），哈佛大學法學院教授勞倫斯·萊西格（Lawrence Lessig）和廣受歡迎的AI教科書《人工智能：現代方法》作者、加州大學伯克利分校教授斯圖亞特·拉塞爾（Stuart Russell）聯名寫信給加州立法機構，表達他們對加州AI安全法案的「強力支持」。
這4位學者指出，他們對AI風險深感擔憂，而加州的AI安全法案是有效監管該技術的最低要求。「法案沒有許可證製度，不要求公司在培訓或部署模型之前獲得政府機構的許可。它依賴於公司對風險的自我評估，甚至在發生災難時也不要求公司承擔嚴格的責任。相對於我們面臨的風險，這是一項非常寬松的立法。目前監管AI的法律還沒有監管三明治店的嚴格，取消該法案的基本性措施將是一個歷史性的錯誤——1年後，當下一代更為強大的AI系統發布時，這一錯誤將變得更加明顯。」
「四十年前，當我在訓練 ChatGPT 等工具背後的第一版 AI 算法時，包括我自己在內，沒有人會預測到 AI 會取得如此大的進步。強大的 AI 系統帶來了令人難以置信的希望，但風險也非常真實，應該非常認真地對待。SB 1047采取了一種非常明智的方法來平衡這些擔憂。我仍然對 AI 通過改進科學和醫學來拯救生命的潛力充滿熱情，但我們必須製定真正有力的立法來應對風險。加州是這項技術的起點，因為它是這項技術的起飛之地。」辛頓表示。
四位學者還在信中強調，不論這些風險是杞人憂天還是真實存在，相關方都有必要承擔減輕風險的責任。而「作為最了解這些系統的一群專家」，他們認為這些風險是可能存在並且足夠重大的，我們有必要對此進行安全測試和常識性的預防措施。
加州參議員斯科特·維納 (Scott Wiener) 是該法案的起草人，他表示，SB 1047 旨在吸取過去社交媒體和數據隱私政策失敗的教訓，在為時已晚之前保護公民的安全。
「我們對待科技的態度是，等待危害發生，然後束手無策，」維納說。「我們不要等著壞事發生。我們要搶在它之前采取行動。」
* 開發者不會因無法預測模型風險而入獄。首先，初創企業開發者和學界不必擔心，因為法案不適用於他們。其次，法案中的偽證罪條款僅僅在開發者「故意」做出虛假陳述時才會生效，對模型能力無心的錯誤評判不會觸發偽證罪條款（該條款已在今天修正案中被刪除）。
* 法案並未帶來全新的責任。在現有的法律下，如果模型造成傷害，模型開發商和個人開發者都有可能被起訴，並且適用於所有能力的模型，所有受傷害的個體都可起訴。加州的新法案不僅限製了監管範圍，還將起訴的權利限製在加州總檢察長和勞工委員會兩個實體上。
* 法案不會扼殺加州創新。該法案適用於所有在加州開展業務的企業，即便他們將總部挪出加州，也應該遵守相關規定（智東西註：加州按GDP計算是世界第5大經濟體，具備完整的科技生態，科技企業很難與加州脫鉤）。當加州通過數據隱私法、環境保護法時，有許多人宣稱這將阻礙創新，但事實是加州目前仍然在引領創新。
* 終止開關與安全評估要求不會阻礙開源AI的開發。法案目前已經修改並加強了對開源AI的保護。法案中對模型緊急停機的要求僅僅適用於開發人員控製範圍內的模型，不包括不受控製的開源模型。法案還建立了一個新的咨詢委員會，以倡導和支持安全可靠的開源AI開發工作。
根據法案，即使一家公司在德克薩斯州或法國訓練了價值 1 億美元的模型，只要它在加利福尼亞州開展業務，它就會受到 SB 1047 的保護。維納表示，國會「在過去 25 年裏幾乎沒有製定任何有關技術的立法」，因此他認為加利福尼亞州應該在這裏開創先例。
人工智能安全中心主任 Dan Hendrycks表示：「這一法案符合加州乃至美國產業的長期利益，因為重大安全事故可能是進一步發展的最大障礙。」
多名OpenAI前員工也支持這一法案，包括主動放棄OpenAI期權從而換取自由批評OpenAI公司權利的丹尼爾·科科塔約洛（Daniel Kokotajlo）。他認為，法案批評者稱AI進步會停滯的說法大概率不會發生。
估值百億美金的AI獨角獸Notion創始人西蒙·拉斯特（Simon Last）撰文稱，他支持法案，認為在聯邦級AI法律難產的情況下，加州作為全美乃至全球的科技中心，背負著重要的責任。他認為對模型的監管，在提升其安全性的同時也便利了在基礎模型上構建產品的AI創企，這將減輕中小企業的負擔。
人工智能安全行動基金中心高級政策顧問 Nathan Calvin 表示：「SB 1047 的目標是——並且一直是——提高 AI 安全性，同時仍允許整個生態系統進行創新。新的修正案將支持這一目標。」
六、下一步如何發展？
SB 1047 法案現在將提交加州議會進行最終表決。如果該法案在議會獲得通過，由於最新的修正案，該法案將需要交回加州參議院進行表決。如果該法案同時獲得通過，它將被提交到加州州長紐森的辦公桌上，他將在 8 月底之前最終決定是否簽署該法案。
維納表示，他尚未與紐森談過該法案，也不知道他的立場。---[鈦媒體/作者: 林誌佳，編輯: 胡潤峰: 鈦媒體AGI]
