圖片來源：unsplash
近期，生成式人工智能（AIGC）領域又湧現出多款創意十足的新應用。
今天，钛媒體AGI梳理了免費 AI “神器”系列第四彈，共五款，其中不少産品又再一次拓寬了我們對AI的想象力。
.視頻界“神筆馬良”——Boximator
.大模型直接操控電腦——ScreenAgent
.文本轉聲音神器——ElevenLabs人工智能音效模型
.谷歌Gemini 1.5最強競對——LargeWorldModel
.閱讀能力媲美人類——Readagent
1、視頻界“神筆馬良”——字節Boximator模型
産品信息：Boximator是一款由字節跳動開發的文生視頻模型，可通過文本精准控制生成視頻中人物或物體的動作。
産品功能：用戶只需輸入一句描述具體動作的文本，Boximator便可生成對應動作的視頻片段，目前很多文生視頻大模型其實做不到這一點。
例如，同時在Pika 1.0、Gen-2、Boximator上輸入文本“一位英俊的男人用右手從口袋中掏出一支玫瑰，並注視著這只玫瑰”，三個大模型最終生成的視頻中，只有Boximator做到了男士掏花和看花的動作，其他兩個均沒有。
只有Boximator的生成視頻（最左）做到了男士掏花和看花的動作，其他兩個均沒有。
爲了實現對視頻中人物或物體動作的精准控制，Boximator引入“硬盒”和“軟盒”兩種約束方法，用戶可以使用這些盒子來嚴格定義對象在未來幀中的位置、形狀或運動路徑。
不過，Boximator相關技術似乎還未成熟。
2月20日，字節跳動相關人士表示，Boximator是視頻生成領域控制對象運動的技術方法研究項目，目前還無法作爲完善的産品落地，距離國外領先的視頻生成模型在畫面質量、保真率、視頻時長等方面還有很大差距。
據悉，字節跳動從2023年開始布局AI，並于去年11月成立專注于 AI 創新業務的新部門Flow。目前字節Flow部門已推出了三款AI對話類産品，包括豆包、扣子和Cici。其中，豆包爲一款聊天機器人産品，可以完成問答、文本生成、語言翻譯等多種任務，還可以根據用戶需求和上下文進行自適應問答，提供個性化服務；扣子是一站式AI Bot開發平台，無論用戶是否有編程基礎，都可以在扣子平台上快速搭建基于AI模型的各類問答Bot，可完成解決簡單的問答，並處理複雜邏輯的對話。
高管方面，前TikTok的産品負責人、現任字節跳動産品和戰略副總裁朱駿已擔任Flow産品負責人，此外還有一些內部核心産品人員轉崗至Flow。
體驗地址：https://boximator.github.io/
2、谷歌Gemini 1.5最強競對——LargeWorldModel
産品信息：LargeWorldModel（LWM）是一種大型多模態自回歸模型，由UC伯克利大學開發。它使用 RingAttention 在包含長視頻和長文本的大型數據集上進行訓練，從而執行語言、圖像和視頻的理解和生成。
産品功能：LWM支持處理多模態信息，能在100萬token中准確找到目標文本，還能一口氣看完1小時的視頻後，准確地回答出有關視頻內容細節的問題，突破了當前語言模型在處理複雜的長格式任務的不足。除此之外，LWM還支持圖像和視頻的生成，被外界視爲谷歌Gemini 1.5最強競對。
LargeWorldModel産品介紹界面
體驗地址：https://github.com/LargeWorldModel/LWM
3.大模型直接操控電腦——ScreenAgent
産品信息：ScreenAgent是一款由吉林大學人工智能學院開發、視覺語言大模型驅動的計算機控制代理。
産品功能：ScreenAgent可幫助用戶在無需輔助定位標簽的情況下，通過VLM Agent控制電腦鼠標和鍵盤，實現大模型直接操控電腦的功能。
ScreenAgent可根據用戶的文本描述查找並播放指定的視頻
例如，ScreenAgent可根據用戶的文本描述查找並播放指定的視頻，或根據用戶要求調整視頻播放速度。ScreenAgent還能幫用戶打開Windows系統的事件查看器，使用office辦公軟件，例如根據用戶文本描述，刪除指定的PPT內容。
體驗地址：https://github.com/niuzaisheng/ScreenAgent
4、文本轉聲音神器——ElevenLabs人工智能音效模型
産品信息：近日，ElevenLabs宣布將推出一款人工智能音效模型，可幫助用戶通過文本生成音效，填補了當下AI視頻生成缺乏背景音效的空白。
産品功能：在ElevenLabs發布的預告視頻中，這款人工智能音效模型爲Sora生成的視頻畫面添加了不同的音效，如人群中舞龍的喧鬧聲、高速列車運行的轟鳴聲、行人的腳步聲等。
目前，ElevenLabs公布了一段視頻，但尚未公開該模型的具體細節，僅設立了一個注冊頁面，用戶可提前注冊等待該模型的開放試用。
注冊地址：https://form.typeform.com/to/gg0xzZW4?typeform-source=t.co
5、閱讀能力超強的Agent模型——Readagent
産品信息：Readagent是由Google開發的一款模仿人類閱讀方式的閱讀類型代理（Agent）模型。它通過學習人類閱讀長文本時遺忘具體信息但保留要點信息的方式，來提高處理和理解長文本的效率。
産品功能：在處理長文本時，Readagent會把文本中的主要信息轉化爲“要點記憶”進行存儲，當需要回答具體細節問題時，Readagent會迅速定位到到相應的“要點”中尋找答案，從而出色地完成長文本的閱讀理解任務。此外，Readagent還能幫用戶在複雜的網站中找到需要的信息。
體驗地址：https://github.com/read-agent/read-agent.github.io/blob/main/assets/read_agent_demo.ipynb
---（钛媒體/作者 : 任穎文*編輯 : 林志佳｜钛媒體AGI）
