使用大模型合成的數據，就能顯著提升3D生成能力？
來自上海交大、香港中文大學等團隊還真做到了。
他們推出Bootstrap3D框架，結合微調的具備3D感知能力的多模態大模型。這個框架能夠自動生成任意數量的高質量的多視角圖片數據，助力多視圖擴散模型的訓練。
結果表明，新的合成數據能夠顯著提高現有3D生成模型的生成物體的美學質量和文本prompt的控制能力。
目前，Bootstrap3D的數據集已經全面開源。
用大模型合成數據
近年來，3D內容生成技術迎來了飛速發展。然而，相對于2D圖片生成，生成高質量的3D物體仍面臨諸多挑戰。
其中核心的瓶頸即在于3D數據，尤其是高質量數據的不足。
爲了解決這一問題，研究團隊推出Bootstrap3D框架，通過自動生成多視圖圖像數據來解決3D內容生成中高質量數據不足的問題。
具體來說，這個框架采用了2D和視頻擴散模型來生成多視圖圖像，並利用一個經過微調的3D多模態大模型對生成的數據進行質量篩選和描述重寫。
通過這種方式，Bootstrap3D能夠自動産生大量高質量的3D圖像數據，從而“自舉”出一個足夠大的數據集，輔助訓練更優秀的多視圖擴散模型。
這裏插一嘴，在計算機科學和機器學習領域，“Bootstrap”通常指的是一種通過自舉方法解決問題的技術。
數據構建Pipeline
具體來說，數據構建Pipeline是本次框架的核心創新之一，旨在自動生成高質量的多視圖圖像數據，並附帶詳細的描述文本。
主要分爲以下幾個步驟：
文本提示生成：首先，使用強大的大語言模型（如GPT-4）生成大量富有創意和多樣化的文本提示。這些文本提示涵蓋了各種場景和物體，爲後續的圖像生成提供了豐富的素材。
圖像生成：利用2D擴散模型和視頻擴散模型，根據生成的文本提示創建單視圖圖像。通過結合2D和視頻擴散模型的優勢，生成的圖像具有更高的初始質量和多樣性。
多視圖合成：使用視頻擴散模型將單視圖圖像擴展爲多視圖圖像，生成不同角度的視圖。這一步驟確保了每個對象在不同視角下的一致性，解決了傳統方法中視圖不一致的問題。
質量篩選和描述重寫：通過我們微調的3D感知模型MV-LLaVA，對生成的多視圖圖像進行嚴格的質量篩選。篩選過程不僅過濾掉低質量的數據，還重寫描述文本，使其更加准確和詳細。
通過這個數據構建Pipeline，Bootstrap3D能夠生成大量高質量的3D圖像數據，爲多視圖擴散模型的訓練提供了堅實的基礎。
這一創新不僅解決了3D數據稀缺的問題，還顯著提升了模型的生成效果和對文本提示的響應能力。
訓練timestep重安排（TTR）
團隊還提出了一種創新的訓練timestep重新安排策略（TTR），以解決多視圖擴散模型訓練中的圖像質量和視圖一致性問題。
TTR策略的核心理念是在訓練過程中靈活調整合成數據和真實數據的訓練時間步，從而優化去噪過程的不同階段。
去噪過程的階段性特征：在擴散模型中，去噪過程通常分爲不同的時間步。在早期時間步，去噪過程主要關注圖像的整體結構和形狀（低頻成分）；在後期時間步，則主要生成圖像的細節和紋理（高頻成分）。這種階段性特征爲我們提供了調整訓練策略的機會。
限制合成數據的訓練時間步：由于合成數據可能存在一些模糊和失真，我們在訓練時限制其時間步範圍。具體來說，我們讓合成數據主要參與早期的去噪階段，確保它們對整體結構的貢獻，而將後期的細節生成留給質量更高的真實數據。
分階段訓練策略：通過將合成數據限制在較大的時間步範圍內（如200到1000步），我們確保這些數據在去噪過程中主要影響圖像的低頻成分，從而保持視圖一致性。同時，真實數據則參與所有時間步的訓練，以提供高頻細節和真實感。這樣的分階段訓練策略有效平衡了圖像質量和視圖一致性。
實驗證明效果顯著：廣泛的實驗結果表明，使用TTR策略的多視圖擴散模型在圖像-文本對齊、圖像質量和視圖一致性方面均表現優異。該策略不僅保留了原始2D擴散模型的優點，還顯著提升了多視圖生成的效果。
通過訓練時間步重新安排策略（TTR），Bootstrap3D框架成功解決了合成數據質量參差不齊的問題，顯著提升了多視圖擴散模型的性能，爲高質量3D內容生成奠定了堅實基礎。
好了，Bootstrap3D生成的數據集已經全面開源，任何研究人員和開發者都可以免費訪問和使用。
---[陳林 投稿自: 凹非寺* 量子位 |:公衆號 QbitAI/來源: 量子位]
論文地址：https://arxiv.org/abs/2406.00093/
項目主頁：https://sunzey.github.io/Bootstrap3D/
數據集地址：https://huggingface.co/datasets/Zery/BS-Objaverse/
*OpenAI對AI語音引擎非常謹慎：可能永遠不會被廣泛使用*
鞭牛士報導，6月10日消息，據外電BI報導，幾個月內，OpenAI 第二次解釋其文本轉音頻工具，提醒大家該工具尚未廣泛使用，也可能永遠不會被廣泛使用。
該公司周五在其網站上發表的聲明中表示：無論我們最終是否會廣泛部署這項技術，讓世界各地的人們了解其發展方向都很重要。這就是爲什麽我們要解釋該模型的工作原理、我們如何將其用于研究和教育，以及我們如何圍繞它實施安全措施。
去年年底，OpenAI 與公司外部的一小群用戶分享了其語音引擎，該引擎依靠文本輸入和 15 秒的人類聲音片段來生成聽起來與原始說話者非常相似的自然語音。
該工具可以用多種語言創建聽起來令人信服的人類聲音。
當時，該公司表示，它選擇預覽該技術但不會廣泛發布，以增強社會韌性，以抵禦越來越令人信服的生成模型的威脅。
作爲這些努力的一部分，OpenAI 表示正在積極逐步淘汰基于語音的銀行賬戶身份驗證，探索保護個人聲音在人工智能中使用的政策，教育公衆了解人工智能的風險，並加快跟蹤視聽內容的開發，以便用戶知道他們正在與真實內容還是合成內容進行交互。
但盡管做出了這些努力，人們對于這項技術的恐懼依然存在。
總統喬·拜登的人工智能主管布魯斯·里德曾表示，語音克隆是讓他夜不能寐的一件事。
美國聯邦貿易委員會在 3 月份表示，詐騙者正在利用人工智能來提升他們的工作效率，他們使用的語音克隆工具使得區分人工智能生成的聲音和人類的聲音變得更加困難。
OpenAI 在周五更新的聲明中試圖緩解這些擔憂。
該公司表示：我們將繼續與美國及政府、媒體、娛樂、教育、民間社會等領域的國際合作夥伴合作，以確保我們在建設過程中采納他們的反饋。
它還指出，一旦 Voice Engine 配備了其最新型號 GPT4o，它也將帶來新的威脅。在內部，該公司表示正在積極對 GPT-4o 進行紅隊測試，以識別和解決社會心理學、偏見和公平以及錯誤信息等各個領域的已知和不可預見的風險。
當然，更大的問題是，當這項技術被廣泛發布時會發生什麽。看來 OpenAI 也做好了准備。
尚未立即回應 Business Insider 的置評請求。---來源: 鞭牛士-
