2月29日消息，谷歌正努力應對其Gemini聊天機器人因回答不准確而引發的“翻車”事件，而Meta希望其計劃于7月發布的新版大語言模型Llama 3能更有效地處理這類有爭議的問題。
去年7月，Meta推出了Llama 2，強化了其應用程序中人工智能助手的功能。爲預防模型回答可能引起爭議的問題，Meta引入了多項安全措施。然而，根據Meta內部員工的說法，這些安全措施讓Llama 2的回答過于謹慎，缺乏靈活性，這在Meta的管理層和這款大模型研究人員之間引起了一些不滿。
雖然對于如何制造炸彈或實施謀殺等極端問題，實施安全回答措施是非常必要的。但問題在于，Llama 2連對一些爭議性較低的問題也采取了回避策略。例如，當詢問如何在上班時間摸魚時，Llama 2的回答是：“尊重並遵守公司的政策和指導方針是至關重要的。”這種回避策略也適用于如何捉弄朋友、贏得戰爭或關閉汽車引擎等其他問題。
Meta的工作人員表示，Llama 2采取這種保守策略是爲了避免潛在的公關災難。但據知情人士透露，研究人員目前正在嘗試放寬Llama 3的安全措施，以便在用戶提出困難問題時，能夠提供更多的交互和背景信息，而不是簡單地回避這些棘手的問題。
理論上，Llama 3將擁有更強大的語義理解能力，能夠准確辨別一個單詞在不同上下文中的多重含義。例如，Llama 3可能會理解英文“kill a vehicle’s engine”（關閉機動車的發動機）中的“kill”是指“關閉”，而非“殺害”。
據悉，Meta計劃在未來幾周內爲Llama 3分配專門負責語氣和安全培訓的內部人員，以提升模型的反應靈敏度和精確度。盡管計劃在7月發布Llama 3，但發布時間表仍可能調整。作爲一款開源大語言模型，Llama 3不僅將支持Meta旗下的人工智能助手，還將向外部開發者免費提供，以便他們開發自己的聊天機器人。
隨著Meta試圖使Llama 3在處理難題時更加自由，這凸顯了人工智能公司面臨的挑戰：在開發吸引用戶的有趣産品的同時，還要避免産生不恰當或不准確的回答引起爭議。就在上周，谷歌因其Gemini聊天機器人的圖像生成功能出現曆史不符合問題而被迫暫停該功能。
對此，谷歌高級副總裁普拉巴卡·拉加萬（Prabhakar Raghavan）在一篇博客文章中解釋說，該公司已對該功能進行了調整，以確保它不會落入過去圖像生成技術的陷阱，如産生暴力或色情圖像。但他也承認，這種調整在某些情況下導致了“過度補償”，在其他情況下則表現得“過于保守”。
Llama作爲Meta人工智能戰略的核心，對公司具有重大意義。Meta希望通過人工智能技術提升其廣告工具的效果，並增強社交媒體平台的吸引力。本月早些時候，Meta首席執行官馬克·紮克伯格（Mark Zuckerberg）向投資者表示，今年的重點包括推出Llama 3和“擴展Meta人工智能助手的實用性”。
爲了使Llama 3與OpenAI的GPT-4媲美，Meta正努力賦予Llama 3多模態能力，即理解和處理文本、圖像或視頻等多種信息的能力。然而，據Meta內部人士透露，由于研究人員尚未開始對Llama 3進行微調，因此尚不清楚其是否將具備多模態功能。微調是開發過程的關鍵環節，通過爲現有模型提供額外數據，使其能夠學習新信息或任務。
據知情人士透露，Llama 3的最大版本預計將擁有超過1400億個參數，遠超Llama 2，這意味著模型在訓練中能學習的內容範圍將大幅擴展。參數數量越多，通常意味著模型能提供的結果越精確，不過較小的模型可能在處理速度上更有優勢。Llama 3正在由Meta旗下的獨立基礎人工智能研究團隊（FAIR）以外的生成人工智能團隊開發。
與此同時，盡管人們對Llama 3充滿期待，Meta也面臨著人才競爭的挑戰。據了解，負責監督Llama 2和Llama 3安全的研究員路易斯·馬丁（Louis Martin）以及負責強化學習的凱文·斯通（Kevin Stone）在本月都已離開公司。
在科技行業，如何處理人工智能安全問題的討論越來越激烈。特斯拉首席執行官埃隆·馬斯克（Elon Musk）便是其中一位頗具影響力的。他于2015年幫助創立了OpenAI，但近年來一直對所謂的“覺醒”人工智能機器人持懷疑態度，這些機器人在處理敏感話題時的表現不佳。
2023年底，馬斯克推出了名爲Grok的聊天機器人，旨在提供一個未經過濾的聊天體驗。然而，隨著用戶報告稱Grok開始失控，行爲越來越像ChatGPT，馬斯克將此歸咎于互聯網信息訓練的局限。他在X平台上的一篇文章中指出，互聯網上“充斥著帶有覺醒色彩的垃圾信息”。---[文源 : 易科技報導/責任編輯 : 王鳳枝*小小]
*Llama 3被爆7月解禁劍指GPT-4，最大參數超1400億！2名核心團隊成員卻離職*
【新智元導讀】外媒稱，Llama 3或將在7月發布，並解除了一些限制能回答更棘手的問題，而且對多重語境理解更加到位，至于是否有多模態能力還不確定。
谷歌Gemma大模型開源，徹底改變了開源格局。
AI圈逐漸形成了Llama、Gemma、Mistral三足鼎立之勢。
Information獨家報道稱，Meta計劃在今年7月開始推出全新開源大模型Llama 3。
Llama 3最大版本預計有超1400億參數，性能遠超Llama 2。不過Llama 3是否具備多模態能力，暫時未知。
近來，谷歌Gemini生圖能力一夜塌房，被網友吵上熱搜。
而Meta正在通過下一代模型Llama 3升級，處理類似的問題。
谷歌Gemini一夜塌房，Meta警惕加倍
上周，谷歌不得不撤回Gemini聊天機器人的圖像生成功能。
因其生成了一些曆史不准確的圖像，比如穿納粹制服的有色人種，一個19世紀沒有白人男性的參議員團體等等。
在一篇博客文章中，谷歌的高級副總裁Prabhakar Raghavan表示：公司已經調整了該功能，以確保它不會陷入圖像生成技術過去遇到的一些問題，如生成暴力或色情圖像。
但這個調整，導致Gemini在某些情況下的回答過度保守。
與此同時，Llama 2同樣存在的一個問題是——對于任何有爭議的問題，所提供的答案幫助不大。
這是因爲，Meta在去年7月發布時，便增加了一項安全措施。
然而，在Meta高層領導和模型研究人員看來，這些措施會導致Llama 2過于「保守」。
舉個例子，在一些特定主題上，比如關于如何制造炸彈，或如何謀殺某人的問題上，Llama 2的回答很合理。
但是，對于一些不那麽有爭議的問題，比如員工如何在強制上班日不去辦公室？
Llama 2卻沒有給出任何建議。
只是回答：「尊重並遵守公司的政策和指導方針是重要的」。
另外，對于那些如何惡作劇整朋友、贏得戰爭、破換汽車引擎的問題，Llama 2直接拒答。
正是因爲Meta對Llama 2的加倍警戒，小心謹慎，才使得自己避免像谷歌那樣面對的公關災難。
Llama 3更開放？
不過，現在研究人員正試圖，讓Llama 3在面對棘手問題時，能夠更加積極地與用戶交流。
讓其能夠提供背景信息，而不是直接回避這些問題。
據了解，Llama 3能更好地區分一個詞的多種含義。
比如，詢問如何「殺死」汽車引擎——實際上指如何「關閉」它，而非真正要結束其性命。
Meta還計劃，在未來幾周指定一名內部人員負責監督回答的語氣和安全訓練，讓模型的回答更加細致入微。
Llama 3將更加開放地處理棘手問題的計劃，凸顯了AI公司在試圖打造有趣的模型，與防止其因不當或不准確的言論而引發負面影響之間，正做出平衡。
據稱，Llama 3將在7月發布，不過具體時間可能會有所變動。
Meta期望Llama 3，能夠追趕上GPT-4，不過是否讓Llama 3支持多模態還未有定論。
因爲目前，研究人員還未對Llama 3進行微調。
據一位Meta的工作人員透露，Llama 3的最大版本可能擁有超過1400億個參數。
這些參數設置編碼了模型在訓練過程中學習到的知識，遠超Llama 2。
通常，模型越大，其返回的結果越准確，但運行速度可能會較慢。
團隊成員離職
同時，盡管人們對Llama 3的發布充滿期待，Meta也面臨著與人才爭奪的挑戰。
據兩位直接了解情況的人士透露，負責Llama 2和3安全的研究員Louis Martin以及負責強化學習的Kevin Stone本月都已離職。
Louis Martin從2021年從Facebook AI Research博士畢業後，就職于Meta任AI研究科學家，從事自然語言處理的工作。
從23年4月，他成爲Meta AI安全團隊的技術負責人，主要專注于Llama模型的安全防護。
而Kevin Stone從2022年6月加入Meta後，一直爲Llama 2項目設計和編寫了大量RLHF代碼。
35萬塊H100訓出Llama 3
不管怎麽說，Llama是Meta戰略中，不可或缺的一部分。
這家社交網絡巨頭希望通過AI技術，不僅提高其廣告工具的效能，還增加其社交媒體應用的吸引力。
小札最近對投資者表示，今年的重點包括推出Llama 3以及「擴展我們Meta AI助手的功能」。
1月，小札曾官宣，全力搞「開源AGI」！
目前，Meta內部正在訓練下一代模型Llama 3。截止年底，將會有近35萬塊H100搭建的基礎設施。
小札稱，「如果算上英偉達A100和其他AI芯片，到2024年底，Meta將擁有近60萬個GPU等效算力」。
關于Meta下一代模型的消息，此前也有傳言稱，Llama 3的實力堪比GPT-4，而且還是免費開源。
OpenAI工程師、前谷歌大腦工程師Jason Wei去年8約在Meta組織的Generative AI Group活動中聽說：
Meta有足夠的算力來訓練Llama 3和Llama 4。Llama 3計劃達到GPT-4的性能水平，但仍將免費提供
這次也算是，Meta正式官宣Llama 3訓練中，而且LeCun也表示最新模型很快就會上線。
從2023年2月，Llama 1首次面世，到7約Llama 2的升級，Meta花了大約5個月的時間。
當時，Llama 2在某些應用上與GPT-3.5能力相媲美，而且還通過微調，額外功能讓開源社區進行優化。
Llama模型開源後所帶來的是，模型生態大爆發。
據Meta統計數據顯示，在世界最大開源社區平台Hugging Face上，Llama模型的下載量超過3000萬次。其中，僅在過去30天（9月份）內就超過了1000萬次。
另外，發布在Hugging Face的Llama版微調模型，已經多達7000+個。
Llama 3出世後，又將爲開源社區帶來另一片肥沃的土壤。---[新智元報導*編輯 : 桃子/來源: 新智元 ]
參考資料：https://www.theinformation.com/articles/meta-wants-llama-3-to-handle-contentious-questions-as-google-grapples-with-gemini-backlash?rc=epv9gi
