智東西8月16日報導，就在剛剛，飽受爭議的加州《前沿AI模型安全創新法案》（後稱加州AI安全法案）在大幅度削弱後，順利通過加州眾議院撥款委員會的審核。在國家層面監管法律難產的困局中，這成為了美國在AI監管上邁出的重要一步，然而科技界部分人士認為這最終將會損害加州乃至美國在AI領域的領先地位。
修正後的法案最大的調整是，不再允許加州總檢察長在災難性事件發生前起訴AI企業忽視安全問題的行為。原有法案規定，只要審計員發現AI企業在日常運營中存在違法行為，企業就有可能被起訴。這標誌著法案的監管重點轉變為實際危害，也將減輕企業的合規壓力。
多數美國科技企業和AI創企都在加州運營，將受該法案約束。具體來看，這一法案主要關註「前沿AI模型」，只有訓練模型算力成本超1億美元的開發商才會面臨監管要求，現有模型均不在監管範圍內。未來Llama 4和GPT-5或許會是其主要監管對象。
對國內企業來說，如果只是在開源基礎上進行微調等操作，大概率不會被納入監管範圍。然而，法案要求雲服務提供商收集客戶信息、IP地址、支付方式等信息，這便利了監管部門的溯源工作。若後續管製進一步收緊，這可能會成為部分使用海外算力進行訓練的中國AI企業面臨的監管風險。
監管範圍內的企業應主動采取措施避免模型濫用，還需要擁有緊急關閉模型的能力。此外，他們還需要提交公開聲明，概述他們的安全實踐。法案引入了「年檢」製度，開發商需要聘請獨立審計員每年評估合規情況。
一旦出現違法行為，企業可能面臨1000萬-3000萬美元不等的罰款，這一金額還將隨著模型訓練成本的增加水漲船高。
AI圈分裂為2個陣營，激烈論戰。
2018年圖靈獎得主傑弗裏·辛頓（Geoffrey Hinton）和約書亞·本吉奧（Yoshua Bengio）表態支持，認為加州AI安全法案是有效監管AI技術的「最低要求」。
數百名創業者簽署了孵化器YC撰寫的反對信，加州的100多位學界人士也發文反對。風投機構a16z專門建立網站細數法案六宗罪，斯坦福大學教授李飛飛專門發推譴責，主要觀點是，這一法案將阻礙加州的AI投資與發展，顯著危害開源生態，並未解決AI帶來的實質性風險等。
然而，加州AI監管法案主筆、加州州參議院威善高（Scott Wiener）駁斥了對法案的部分批評，稱a16z和YC刻意歪曲事實，該法案是在現有法律框架內的優化，提升了監管的針對性，不會讓大量開發者鋃鐺入獄，也不會對創新和開源AI產生危害。
智東西整理了大量資料，將這一法案的具體內容和相關討論歸納為以下5個問答：
一、適用範圍究竟有多大？現有大部分模型並不適用，Llama 4和GPT-5可能被納入監管範圍
為實現有效監管，這一法案原計劃創辦「前沿模型部門（FMD）」來執行相關規定。在今天的修訂後，這一部門轉變為加州政府下屬管理局中的一個9人委員會，其中包括來自AI行業、開源社區和學術界的代表，由加州州長和立法機構任命。前沿模型委員會仍將為所涵蓋的模型設置計算閾值，發布安全指南並為審計員發布法規。
加州作為美國乃至世界AI發展的中心之一，吸納了大量AI企業，《福布斯》雜誌2024年AI企業50強中的30余家都在加州運營。根據這一法案，他們都需要遵守加州AI安全法案的相關規定。但這一法案的實際適用範圍會顯著地受到模型能力的限製，或許只有大模型領域的頭部玩家會在未來幾年裏受到這一法案的監管。
▲加州AI監管法案部分截圖---（圖源：加州參議院官網）
這一法案將從模型訓練所使用的算力量和算力成本來評估一個模型是否應該被列入監管範圍，也就是被列為「範圍內模型（Covered model）」。相關規定可主要概括為以下2點：
1、2027年1月1日前，使用10^26及更多整數或浮點運算數量的算力進行訓練的模型（按市場平均算力價格計算為1億美元）或者使用3*10^25的算力對範圍內模型進行微調後獲得的模型，將被列為範圍內模型。
2、2027年1月1日後，上述標準將會由加州的前沿模型監管部門進行評估。若該部門修改算力門檻，則以新標準為準；若該部門決定不需要修改，則繼續沿用原標準。此外，2026年後原標準中的1億美元應該考慮通脹情況進行相應調整。
那麽現在已經發布的模型中，有哪些會被列入這一範圍呢？模型訓練時所使用的算力有多種計算方式，OpenAI曾在一篇論文中大致估計：
FLOPS=6ND
（其中N是參數數量，D是token數量）
借用這一計算方式和開源模型的數據，我們可以大致估計出目前模型們所使用的算力大致處於什麽水平：
Llama 3 70B
具備700億參數，訓練時使用15T tokens訓練數據，因此所使用算力大致為：
6*70B*15T= 6.3*10^24 FLOPS
Llama 3.1 405B
具備4050億參數，訓練時使用15.6T tokens訓練數據，因此所使用算力大致為：
6*405B*15.6T=3.79*10^25 FLOPS
▲Llama 3.1 405B相關信息（圖源：Hugging Face）
這種計算方式比較粗略，和實際情況可能會有較大出入，但仍具有參考意義。根據這一結果，Llama 3.1 405B這一開源模型之王目前並不會被列為法案定義的範圍內模型，模型只有在用掉Llama 3.1 405B的整整2.6倍算力時，才會被列為範圍內模型。
這一法案主筆、加州州參議員威善高在一封回應法案爭議的公開信中的表述也能佐證這一數據，他在信中寫道，「目前公開發布的模型中，沒有任何模型達到了10^26FLOP的算力門檻」。
未來很長一段時間裏，絕大部分中小型模型開發企業和獨立開發者或許都不需要擔憂這一法案對他們的監管。按照法案的算力門檻和資金門檻來看，其主要監管對象是諸如OpenAI、Meta、Google這樣的AI領域主要玩家和得到大量投資的頭部創企。
根據OpenAI CEO薩姆·阿爾特曼（Sam Altman）在公開場合的表述，GPT-4的訓練成本大致為1億美元，尚不清楚這一成本是否包含算力之外的投入。如果GPT-5或OpenAI其它後續模型發布，它們有可能會受到該法案監管。Meta CEO馬克·紮克伯格（Mark Zuckerburg）曾預計Llama 4所需要的算力大約是Llama 3.1的10倍，這意味著Llama 4應該會是未來少數幾款會被列為範圍內模型的開源模型。
二、企業有何責任？開發商需要「年檢」，主動防止濫用並配備「終止開關」
根據這一法案的相關規定，範圍內模型的開發商主要需要承擔以下幾項責任：
1、實施管理、技術和物理三方面的安全保護，防止對範圍內模型和開發商所控製的範圍內模型衍生品進行未經授權的訪問、濫用或後訓練修改。
2、實現及時全面關閉模型的能力。
3、原法案中規定，模型開發商需要簽署獨立的安全協議，確保不會開發出具有造成嚴重傷害（如造成5億美元以上損失的網絡攻擊、導致死亡或重大人身傷害等）風險的模型及衍生品。若協議中有不實信息，將按照偽證罪處罰。
修訂後的法案大大地削弱了這份協議的法律效益，目前，模型開發者只需要提交公開的聲明，概述他們的安全實踐，但該條款不再追究任何刑事責任，僅在出現災難性危害後才會起訴相關實體。
4、若範圍內模型及其衍生品可能導致或輔助造成嚴重傷害，開發商不得自行將其用於商業或公開用途，也不得提供給他人進行商業或公開用途。
5、2028年1月1日起，範圍內模型開發者應該每年聘請1名第三方審計員，詳細並客觀地評估開發商遵守法案要求的情況、匯報違規情況和修改意見。
6、修訂後的法案加入了對開源模型微調的保護。法案明確規定，如果開發者用於微調範圍內模型花費的資金少於1000萬美元，就不會被認定為微調後模型的開發者，責任仍然由原模型的開發者承擔。
此外，這一法案規定了諸如亞馬遜雲服務（AWS）、微軟Azure這一類的雲服務提供商的義務。在向客戶提供足以訓練範圍內模型的算力時，雲服務提供商應做好以下準備：
1、獲取客戶的基本身份信息和業務目的，包括客戶身份、IP地址、支付方式和來源等等。相關合規操作應該留痕，記錄保留7年。
2、評估客戶是否確實計劃使用這些算力來訓練範圍內模型。
3、具備關閉用戶訓練或操作模型時所使用的計算資源的能力。
範圍內模型的開發者和雲服務提供商還應該提供透明、統一、公開的價格表，並確保在定價和準入過程中不存在歧視和反競爭行為。但公共實體、學術機構和非商業研究者可以享受免費或優惠的使用權限。部分雲服務提供商會用價格優惠來吸引或支持特定AI開發企業，這種行為在法案正式生效後或將無可遁形。
法案規定，當開發者得知模型出現安全事件時，應在72小時內向監管部門匯報相關事件。此外，開發者還應該在一款模型或其衍生品在用於商業或公共用途後的30天內，提交這一模型的合規聲明。此外，舉報不當行為的「吹哨者」將受到法律保護，公司或組織不得阻止或報復披露不當行為的員工。
三、違法行為如何懲罰？罰款1000萬美元起，可判決關閉或刪除模型
若模型開發商和計算集群運營者無法遵守上述規定，並造成巨大危害，加州的總檢察長和勞工委員會將有權起訴相關實體。若判定確實存在違法行為，法院可能會判處下類處罰：
1、針對2026年及之後的違法行為，首次違法的實體將被處以雲計算市場訓練範圍內模型平均成本10%以內的罰款，對於後續違法行為，罰款金額不超過這一成本的30%（按法案中對範圍內模型定義的1億美元門檻計算，首次違法的罰款至少為1000萬美元）。
2、法院還可宣布采取禁令，包括但不限於修改、全面關閉或刪除範圍內模型及其開發商所控製的所有衍生品。
不過，修改、關閉和刪除範圍內模型的處罰，僅在其造成他人死亡、嚴重人身傷害、財產損失或嚴重的公共安全威脅時才可使用。
四、誰反對法案？a16z與YC帶頭開展宣傳攻勢，李飛飛楊立昆發推質疑
矽谷的科技巨頭、大量創企和投資機構對加州AI安全法案表達的強烈的質疑和不滿，其中最響亮的聲音是矽谷知名風投機構a16z。a16z在AI領域的投資組合十分豐富，既包括OpenAI、Mistral AI這類成熟的頭部AI企業，也有諸如斯坦福大學教授李飛飛新成立的World Labs這類的後起之秀。這些企業的規模和融資金額較大，他們開發和微調的模型可能被列入監管範圍內。
▲a16z的部分反對意見---（圖源：stopsb1047.com）
a16z主動付費建立了一個網站，為訪問者提供了反對信模板，只需在網站上簡單編輯即可直接發送。a16z還在這一網站上列出了他們眼中加州AI安全法案的「6宗罪」：
1、該法案將對加州的AI投資和發展帶來寒蟬效應。
2、該法案依照並不明確的結果對開發者/開發商進行處罰。相關測試尚不存在。
3、該法案模糊的定義加上嚴格的法律責任，給AI開發商和企業主帶來了巨大的不確定性和經濟風險。
4、該法案可能迫使AI研究轉入地下，無意中降低AI系統的安全性。
5、該法案對開源和初創企業開發者們造成了系統性的不利，而他們是加州創新和小微企業的核心。
6、該法案抑製了美國的AI研究與創新，給中國等國家在AI方面超過美國提供了機會。
多家a16z所投企業的創始人也對加州AI安全法案表達了反對態度。李飛飛在《財富》雜誌網站上發文詳細解釋反對理由，認為這一法案的主要問題有4點：
1、過度懲罰開發者，因此有可能扼殺創新。
2、「終止開關」將束縛開源開發工作，摧毀開源社區。
3、削弱學術界和公共部門的AI研究，還有可能阻礙學術界獲得更多資金。
4、並未解決AI進步帶來的潛在危害，如偏見或深度偽造問題。
▲李飛飛反對加州AI安全法案---（圖源：X平臺）
不過，評論區的許多網友對這一表態並不買賬，他們紛紛呼籲李飛飛披露自己與a16z的利益關系。
▲部分網友質疑李飛飛的中立性 （圖源：X平臺）
YC作為美國最知名、影響力最大的孵化器，是不少AI創企的搖籃，他們目前主要運營地點就在加州。2024年YC冬季批次的260家創企中，超過一半都與AI相關。YC也認為這一法案可能會對行業和開發者生態帶來負面影響：
1、法案應懲罰濫用工具者，而非開發者。開發者往往難以預測模型的可能應用，偽證罪的設定讓開發者可能因此入獄。
2、監管門檻無法充分捕捉技術發展的動態。非加州公司將能更自由地發展AI技術，這可能影響加州的創新。
3、「Kill Switch（指開發商關閉模型的能力）」可能會禁止開源AI的開發，抑製了開源的協作性和透明度。
4、法案的表述較為模糊，很可能被法官隨意解釋。
YC的表態得到數百家創企的聯名支持。YC還在加州舉辦了多場AI監管相關的會議，讓正反雙方得以溝通。
Meta首席科學家、2018年圖靈獎得主楊立昆（Yann LeCun）也反對這一法案，他尤其關註到其中的連帶責任條款。他擔憂如果未能準確評估範圍內模型的風險，開源平臺可能需要承擔責任。
作為當今開源AI模型領域最主要的玩家，Meta公司在一封反對信中寫道，這一法案讓開源開發者不得不在開源時承擔極大的法律風險，因為確保模型安全性的要求是不切實際的。他們建議加州立法者參考其它國家和地區的相關法律，如《歐盟AI法案》中關於透明度與「紅隊測試」的要求。微軟、谷歌和OpenAI也對這一法案發表了負面評價。
擁有獨特的「共益公司架構」的AI創企Anthropic是反對這一法案的許多聲音之一，但與其它企業不同的是，他們並不試圖阻止法案通過，而是參與了法案的修正工作，給立法機構寫信詳細闡明了他們的改進意見。總體來看，Anthropic認為法案應從「傷害前執法」轉向「基於結果的威懾」。他們還希望能更嚴格地製定法規，關註前沿AI安全，避免與聯邦要求重復。
五、誰支持法案？辛頓本吉奧寫信力挺，參議員指責a16z散播謠言
雖然加州AI安全法案一經提出就面臨爭議，但也有不少學者和業界人士支持這樣的監管。8月7日，就在這一法案再度面臨一波批評時，圖靈獎得主、「AI教父」傑弗裏·辛頓（Geoffrey Hinton）、知名AI學者、圖靈獎得主約書亞·本吉奧（Yoshua Bengio）、網絡空間法專家、哈佛大學法學院教授勞倫斯·萊西格（Lawrence Lessig）和廣受歡迎的AI教科書《人工智能：現代方法》作者、加州大學伯克利分校教授斯圖亞特·拉塞爾（Stuart Russell）聯名寫信給加州立法機構，表達他們對加州AI安全法案的「強力支持」。
▲4位知名學者寫信支持加州AI安全法案---（圖源：safesecureai）
這4位學者稱他們對AI風險深感擔憂，而加州的AI安全法案是有效監管該技術的最低要求，他們寫道：
法案沒有許可證製度，不要求公司在培訓或部署模型之前獲得政府機構的許可。它依賴於公司對風險的自我評估，甚至在發生災難時也不要求公司承擔嚴格的責任。
相對於我們面臨的風險，這是一項非常寬松的立法。目前監管AI的法律還沒有監管三明治店的嚴格，取消該法案的基本性措施將是一個歷史性的錯誤——1年後，當下一代更為強大的AI系統發布時，這一錯誤將變得更加明顯。
他們還強調，不論這些風險是杞人憂天還是真實存在，相關方都有必要承擔減輕風險的責任。而「作為最了解這些系統的一群專家」，他們認為這些風險是可能存在並且足夠重大的，我們有必要對此進行安全測試和常識性的預防措施。
4位專家還引用了波音公司最近的安全醜聞。他們認為目前飛機、藥物等其它各種復雜的技術已經變得非常安全和可靠，這是業界和政府共同努力的結果。當監管機構放松規定並允許自我監管時，就出現了像波音公司這類的問題，這對公眾和行業來說都是極為可怕的。
這封支持信受到不少網友的支持，但也有人認為，辛頓和本吉奧目前已經不太參與一線工作了，因此對相關問題沒有發言權。
多名OpenAI前員工也支持這一法案，包括主動放棄OpenAI期權從而換取自由批評OpenAI公司權利的丹尼爾·科科塔約洛（Daniel Kokotajlo）。他認為，法案批評者稱AI進步會停滯的說法大概率不會發生。
▲科科塔約洛相關言論---（圖源：X平臺）
估值百億美金的AI生產力工具獨角獸Notion的創始人西蒙·拉斯特（Simon Last）是業內少數幾位支持加州AI安全法案的人士。他在加州本地最有影響力的媒體之一《洛杉磯時報》上撰文支持法案，稱在聯邦級AI法律難產的情況下，加州作為全美乃至全球的科技中心，背負著重要的責任。他認為對模型的監管，在提升其安全性的同時也便利了在基礎模型上構建產品的AI創企，這將減輕中小企業的負擔。
此外他還認為，強調「監管應該關註AI的有害用途和使用者的不當行為，而非底層技術」的看法是錯誤的。因為前者已經在各級法律中被列為違法行為，而加州的新法案提供了目前監管所缺失的方面：預防潛在的傷害。
在YC和a16z發起宣傳攻勢後，加州AI安全法案主筆、加州州參議員威善高發長信正面回應了相關控訴，稱這2家機構關於加州AI安全法案的許多表述都是不準確的，有些說法「極具煽動性地歪曲了事實」，如法案將把未能準確估計模型風險的開發人員送進監獄，或是禁止開源發布。
▲威善高對YC和a16z的回應---（圖源：safesecureai）
2023年初，威善高與開始與YC接觸，但他稱自己目前仍然沒有收到YC對如何改進法案的詳細反饋。而a16z在立法過程中的參與較晚，到目前也沒有提出任何實質性修改意見。
威善高在這封信中一一回應了法案反對者的幾個核心關切：
1、開發者不會因無法預測模型風險而入獄。首先，初創企業開發者和學界不必擔心，因為法案不適用於他們。其次，法案中的偽證罪條款僅僅在開發者「故意」做出虛假陳述時才會生效，對模型能力無心的錯誤評判不會觸發偽證罪條款（該條款已在今天修正案中被刪除）。
2、法案並未帶來全新的責任。在現有的法律下，如果模型造成傷害，模型開發商和個人開發者都有可能被起訴，並且適用於所有能力的模型，所有受傷害的個體都可起訴。加州的新法案不僅限製了監管範圍，還將起訴的權利限製在加州總檢察長和勞工委員會兩個實體上。
3、法案不會扼殺加州創新。該法案適用於所有在加州開展業務的企業，即便他們將總部挪出加州，也應該遵守相關規定（智東西註：加州按GDP計算是世界第5大經濟體，具備完整的科技生態，科技企業很難與加州脫鉤）。當加州通過數據隱私法、環境保護法時，有許多人宣稱這將阻礙創新，但事實是加州目前仍然在引領創新。
4、終止開關與安全評估要求不會阻礙開源AI的開發。法案目前已經修改並加強了對開源AI的保護。法案中對模型緊急停機的要求僅僅適用於開發人員控製範圍內的模型，不包括不受控製的開源模型。法案還建立了一個新的咨詢委員會，以倡導和支持安全可靠的開源AI開發工作。
威善高還為關心這一法案的人士提供了「懶人包」，總結出法案的6個要點（參見下圖）。
▲法案要點（圖源：safesecureai）
結語：加州邁出重要一步，法案未來破朔迷離
雖然加州AI安全法案遭到大量業內人士反對，但部分民調機構的結果顯示加州居民對這一法案總體持積極態度。
當其正式闖關成功後，可能會面臨a16z等堅決反對者在法庭上的挑戰。這將暫停法案施行，直到美國最高法院做出裁決後才有定論。
最近，美國最高法院推翻持續近40年的支持監管機構話語權的「雪佛龍原則」。這一原則讓要求法官在法律條文不清晰時，聽從政府監管機構對法條的解釋。這一原則的廢除，體現出如今的美國最高法院，對科技監管總體持保守態度。---[智東西/作者: 陳駿達*編輯: Panken]
