MASA:徹底改變玩法,計算機視覺要洗牌了
導語:
1.介紹MASA的各種特點
2.通過論文,以技術的角度解釋MASA的實現原理
3.對比其他方法和MASA的區別
4.MASA目前的問題所在
在計算機視覺領域,想要識別和追蹤某一個物體,就必須要對其進行標註。而在2024年6月,一項名為MASA的技術點燃了整個計算機視覺圈子,它無需依賴特定領域的標註數據,能夠在多樣化的領域中實現對任何物體的匹配。
MASA的全稱叫做Matching Anything by Segmenting Anything,翻譯過來是通過切割萬物來追蹤萬物。在多個具有挑戰性的多目標跟蹤(MOT)和視頻目標分割(MOTS)基準測試的廣泛測試表明,MASA僅使用未標記的靜態圖像,其性能就可以超越使用完全註釋的領域內視頻序列訓練的最先進方法,實現了零樣本關聯。在這個基礎上,MASA還能通過聯合訓練策略,不僅學習了對象的先驗知識,還提高了跟蹤特征的泛化能力。
MASA在視頻中追蹤多個目標
MASA在視頻中追蹤多個目通俗來說,MASA就好像是班裏的天才學生,它學習的時間比其他同學要少,也不需要任何課外補習班,考試成績卻永遠是第一名,哪怕是沒有見過的題目,依然能夠給出正確的答案。
MASA是怎麽來的?
在理解MASA之前,需要先理解什麽是「切割萬物」。這是一個用來進行圖像分割的模型,叫做SAM(Segment Anything Model,切割萬物模型)。它能夠對圖像中的各種物體進行精細的檢測和分割。這個模型由三個主要模塊組成:首先是圖像編碼器,它使用基於ViT(Vision Transformer)的重型骨幹網絡來提取圖像特征;其次是提示編碼器,用於處理來自交互式點、框或掩碼提示的位置信息;最後是掩碼解碼器,這是一個基於Transformer的解碼器,它接收圖像嵌入和提示令牌,以生成最終的掩碼預測。
MASA的整體運行流程
SAM采用密集采樣的規則網格作為點錨,並為每個點提示生成掩碼預測。整個流程包括使用貪婪的基於框的非極大值抑製(NMS)、三步過濾和對掩碼的重度後處理。整個過程在論文中被稱作是「SAM的萬物模式」(SAM's everything mode)。這種模式使得SAM能夠對輸入圖像中的所有潛在對象進行詳盡的探索和分割,從而輸出大量的掩碼提案。
將SAM的輸出視為密集的對象區域提案,並學習從龐大的圖像集合中匹配這些區域。接著,對這些對象區域提案應用不同的幾何變換,如旋轉、縮放、翻轉等,以模擬視頻中對象的外觀變化。這樣做可以自動獲得像素級別的對應關系,為後續的實例級對應關系學習提供數據支持。通過對比學習公式,學習區分相同實例和不同實例的判別性嵌入空間。這一步驟是通過最大化正樣本的相似度和最小化負樣本的相似度來實現的。
接下來輪到MASA適配器(MASA Adapter)登場了,在計算機視覺和深度學習領域,適配器可能被用來將一個預訓練的模型適配到特定的任務或數據集上。而MASA適配器,它被設計為一種通用組件,可以與現有的開放世界分割和檢測基礎模型(如SAM、Detic、Grounding-DINO等)結合使用。MASA適配器的作用是提升這些模型的跟蹤能力,使它們能夠跟蹤檢測到的任何對象。它通過轉換這些模型凍結的特征來實現這一點,以便學習更具判別性的實例外觀表示。
在訓練過程中,MASA方法還包括一個多任務訓練管道,該管道同時執行SAM檢測知識的蒸餾和實例相似性學習,以提高跟蹤特征的泛化能力,進而顯著提升SAM的「萬物模式」的效率。在推理階段,MASA適配器與對象檢測器結合使用,檢測器負責預測邊界框,而MASA適配器則利用這些邊界框作為提示,提取相應的跟蹤特征,以實現實例匹配。
MASA完整的訓練過程
綜上,MASA的原理是就像是一位經驗豐富的偵探,它利用SAM這副「放大鏡」來仔細查看圖像中的每一個角落,找出所有的線索(即對象區域)。然後,這位偵探通過不斷學習和比較這些線索的特點,鍛煉出了敏銳的洞察力,即使在沒有任何預先標記的案件檔案(視頻數據)的情況下,也能夠追蹤到罪犯(跟蹤物體)。這樣,無論是在熟悉的街道還是陌生的城市,MASA都能夠憑借它的這項技能,成功地追蹤到目標。
MASA到底好在哪了?
如果MASA能被應用到當下視頻軟件中,那麽很有可能改寫如今的局面。目前來看,企業做目標檢測、追蹤,主要是利用深度神經網絡對圖像進行編碼和分析,以實現目標的檢測和跟蹤。常見的深度學習方法包括卷積神經網絡(CNN)和生成對抗網絡(GAN)。這些方法具有強大的特征學習和分類能力,但需要大量的標註數據進行訓練,並且計算復雜度高。
除此之外,還有OpenTrack和Unicorn這兩個方法。OpenTrack則以其在開放詞匯MOT任務上的適應性而聞名,它能夠使用來自LVIS的頻繁和常見類別註釋進行訓練,並將罕見類別視為新類。Unicorn的方法在處理遮擋問題時表現出色,它通過圖層次結構統一短期和長期跟蹤,這在有遮擋的場景中尤其有用。
但是從推理、訓練和性能上來看,MASA甩開其他方法一大截。而且MASA還有一個非常重要的特點,便於部署。
首先,作為一個不依賴於特定領域標註數據的解決方案,MASA可以在沒有詳盡標註的情況下跨不同領域進行對象跟蹤,這大大減少了部署前所需的準備工作。其次,MASA適配器的設計允許它與現有的檢測或分割模型結合使用,這意味著可以輕松地將MASA集成到現有的系統中。
可想而知,MASA不像其他的技術那樣,只能活在實驗室或者論文裏,它從出生開始就是為了商業落地而準備的。
其實MASA還存在一些問題
MASA很好,不過它還可以更好。任何技術在落地的時候都需要考慮其商業價值,因此改進模型的魯棒性和準確性,特別是在處理復雜場景和動態環境中的跟蹤問題時,就是MASA在商業應用階段最需要考慮的問題。多目標檢測在實戰中總能碰到諸如陰陽臉、遮擋、低分辨率、數據不平衡等等問題,MASA需要做出一些改進,以應對這些可能發生的問題。
同時,因為MASA是一個大模型,如果打算將MASA與一些實時應用進行結合,那就需要進一步優化計算效率,減少資源消耗。再加上模型端側化的趨勢,MASA可能需要考慮怎樣部署在資源受限的環境中。在論文中,MASA僅支持一些生活中常見的事物。然而考慮到實際使用場景,比如生物識別、機器人導航、自動駕駛等,那還需要擴展模型的能力,以處理更多類型的對象。
還有一點,MASA應該加強與其他計算機視覺任務的融合,如目標檢測、分割、姿態估計等,提供更全面的視覺理解和分析。以姿態估計為例,這是指識別圖像中人體的各個部位及其位置,MASA目前並不具備這個能力。但是MASA可以通過提供有關物體形狀和位置的詳細信息,輔助姿態估計任務。
此外,如果想把MASA應用在醫學、金融、法律、安全這些領域,那麽還得探索模型的可解釋性和透明度,增強客戶對模型決策過程的信任。不過這點對於大模型來說,反而是最難的。---來源: 數據猿DataYuan-
*思邁特利駿鋒:製造業客戶只為業務價值買單,而不是為BI工具買單*
全球數字經濟快速發展,製造業數智化升級成為新時代的關鍵命題。我國正積極引領新質生產力創新,在這樣的背景下,製造企業迫切需要通過數智化手段提升生產效率、降低成本、應對市場變化。然而,如何實現數智化升級仍然是一個復雜的難題。
傳統的轉型升級方法,如工業4.0、智能製造和工業互聯網等,雖然在一定程度上推動了製造業的發展,但仍面臨諸多挑戰。這些方法更多地關註設備互聯和自動化,而忽視了數據分析在其中的核心作用。事實上,數據分析能夠深入挖掘製造企業的潛在問題,提供精準的解決方案,是數智化升級不可或缺的一環。
為了解製造業數智化升級的現狀及其未來發展方向,數據猿特別專訪了思邁特軟件副總裁利駿鋒。思邁特作為國內領先的BI廠商,憑借其在製造業豐富的客戶案例和應用實踐,積累了獨特的經驗和見解。通過這次專訪,我們將深入探討製造業在數智化升級中的獨特需求,分析BI廠商如何通過數據分析為製造企業提供有力支持。
* 作為新質生產力的主陣地,製造業對數智化提出了更高的要求
利駿鋒認為,隨著全球經濟向數字化轉型,製造業正面臨著前所未有的挑戰和機遇。數字經濟時代對製造業的要求,不僅僅是簡單的技術升級,更是全方位的系統性變革。具體來看,製造企業要想在激烈的競爭中生存下來,需要在以下幾個方面不斷提升能力:
1. 面向市場需求導向的C2M模式,構建高度靈活的生產模式
傳統的製造業生產模式以大規模、標準化生產為主,但在數字經濟時代,客戶需求多樣化和個性化趨勢明顯。製造企業需要從傳統的供應鏈模式,轉向以客戶需求為導向的C2M(Customer-to-Manufacturer)模式。C2M模式要求製造企業具備高度靈活的生產能力,能夠根據訂單需求進行快速調整和響應。
銷售業績監控 來源:思邁特
為了適應市場變化和客戶需求,製造企業需要構建敏捷製造系統。敏捷製造強調快速響應和靈活調整,通過數據分析預測市場需求,優化生產計劃,提升生產效率。
2. 精準的訂單預測和生產協同
在C2M模式下,準確的訂單預測至關重要。製造企業需要通過數據分析,對歷史訂單數據和市場趨勢進行分析,預測未來訂單需求。準確的訂單預測可以幫助企業優化生產計劃,避免庫存積壓或短缺,提高資金利用效率。
以數據分析優化供應鏈管理 來源:思邁特
訂單預測只是第一步,製造企業還需要實現生產協同,確保各生產環節協調一致。生產協同不僅包括內部各部門之間的協同,還包括與供應鏈上下遊企業的協同。通過生產協同,製造企業可以提高生產效率,縮短生產周期,提升市場響應速度。
3. 全面的成本還原與管控能力
在激烈的市場競爭中,製造企業面臨巨大的成本壓力。通過數智化手段,製造企業可以實現成本透明化,精確計算每個生產環節的成本。成本透明化可以幫助企業發現成本控製的關鍵點,製定有效的成本控製策略,降低生產成本。
生產過程管控大屏,來源:思邁特
進一步,製造企業需要通過數據分析,對生產過程進行精細化管理。精細化管理不僅包括對原材料和人力資源的管理,還包括對設備維護和能耗的管理。通過精細化管理,製造企業可以提高生產效率,降低生產成本。
4. 優化庫存管理和經營效率
製造企業的庫存管理,一直是一個復雜且關鍵的問題。過高的庫存會占用大量資金,增加存儲成本;而過低的庫存則可能導致生產中斷,影響交貨期。為此,製造企業需要實現精準的庫存管理,根據訂單需求動態調整庫存水平,平衡庫存與生產的關系。
此外,在數字經濟時代,製造企業需要通過數據分析,優化生產流程,提升經營效率。經營效率的提升不僅體現在生產效率上,還體現在整個企業運營的各個環節。通過數據分析,製造企業可以找出運營中的瓶頸和問題,製定相應的改進措施,提高整體經營效率。
可以說,製造企業的數智化升級,已經不再是一個選擇題,而是每一個製造企業的必答題。然而,要實現製造企業的數智化,尤其是實現有效的數據分析,並不容易。
例如,製造業務具備復雜的生產流程和數據結構,這為數據分析帶來不小的挑戰。製造業的生產流程復雜,涉及原材料采購、生產製造、質量檢測、成品存儲、物流配送等多個環節。這些環節之間環環相扣,任何一個環節出現問題都會影響整個生產過程。製造企業需要通過數據分析,對生產流程進行全面監控和優化,提高生產效率。
除了生產流程復雜,數據結構復雜也是製造業務的一個重要特點。例如,製造企業數據往往包含結構化數據和非結構化數據,結構化數據如訂單信息數據、生產計劃數據、庫存數據等;非結構化數據如監控視頻、客戶反饋信息等。製造企業需要通過數據治理技術,對復雜的數據結構進行處理和分析,提取有價值的信息。
* 讓製造業客戶買單的,是數據分析體現出的業務價值
在當今數字經濟的推動下,製造業的數智化轉型已成為必然趨勢。BI廠商在此過程中扮演著重要角色,其服務定位直接影響客戶的轉型成效。那麽,BI廠商應該提供怎樣的數據分析產品和服務,才能更好幫助製造企業客戶實現數智化升級呢?
我們以思邁特為例,來分析BI廠商應該具備的能力。
利駿鋒介紹道,思邁特以其一站式ABI平臺為核心,為製造業客戶提供了全方位的數據分析和智能化服務,幫助客戶實現業務優化和管理提升。
思邁特的ABI平臺通過大數據技術,整合企業內部各類數據(生產數據、銷售數據、庫存數據等),形成一個統一的數據平臺。
這使製造企業能夠全面掌握生產經營的各個環節,及時發現並解決問題,從而提高運營效率和管理水平。利用數據建模和分析,ABI平臺可以精準預測未來的訂單需求,幫助企業合理安排生產計劃,避免庫存積壓或短缺現象。這不僅提高了生產效率,還增強了企業對市場變化的快速響應能力。
供應鏈需求計劃優化管理系統 來源:思邁特
此外,思邁特的ABI平臺集成了先進的人工智能技術,通過數據分析,為製造企業提供智能決策支持。例如,通過實時監控和分析生產數據,ABI平臺可以預測設備故障,提前安排維護,減少設備停機時間,從而提高生產效率。
利駿鋒特別提到,思邁特不僅提供強大的數據分析產品,還結合了微咨詢服務,根據製造業客戶的具體業務需求定製數據分析解決方案。這種微咨詢服務模式,強調深入了解客戶的業務流程和痛點,通過專業的咨詢服務提供有針對性的解決方案。
例如,不同企業在訂單管理、生產流程、成本控製等方面的需求各不相同,思邁特通過微咨詢服務深入了解每一個客戶獨特的業務需求,進而量身定製解決方案。通過微咨詢與BI產品相結合,思邁特不僅幫助客戶分析數據,更重要的是通過數據分析發現業務中的問題並提出改進建議和措施。
微咨詢過程梳理企業指標體系,來源:思邁特
利駿鋒給我們講述了一個具體的客戶案例,來說明思邁特是如何服務製造客戶的。
某鋰電池客戶案例——通過數據分析發現成本誤差,優化適合領導層查看的數據視角
2022年底思邁特簽約某鋰電池客戶,目前已在服務第四期。思邁特如何快速取得客戶的信任並持續為客戶賦能呢?
通過分析該公司提供的各類報表,思邁特團隊發現該公司所有的報表完全依賴於ERP系統的結果數據,且ERP系統在版本升級後產生了報表邏輯錯誤,導致在與服務商和物流商結算時出現成本誤差。
為了解決這個問題,思邁特團隊迅速建議並實施了從ERP系統轉向BI平臺輸出報表的流程,幫助客戶解決了成本結算的誤差問題。基於BI平臺的數據分析和業務邏輯,思邁特為該公司構建了完整的風控機製,有效地監控和防範了財務風險。
在管理上,針對該公司領導層對數據查看視角的變化,思邁特提出了在信息化系統中,通過自定義項或流程調整來直接呈現所需數據的建議,顯著提升了數據獲取的效率和準確性。此外,根據領導層數據查看需求,思邁特進一步提出了對信息化系統的優化建議,大大提升了業務管理的效率和成果。這一系列舉措幫助該公司實現了數據管理的精準化和業務流程的優化,獲得了客戶的高度信任和持續合作。
接著再來看兩個典型案例。
在服務某全球領先家電龍頭企業時,思邁特面對客戶如何降低成本和提振利潤的需求,製定了一套OTC(從訂單到現金)數據監管解決方案。該方案通過對訂單、生產、交付和回款全過程的精細化數據管理,幫助企業在每個環節識別成本控製的關鍵點,實現了對成本的有效管控,從而顯著提升了企業的利潤水平。
在服務某具有出海需求的頭部鋰電池企業時,思邁特針對其快速響應緊急訂單的需求,提出了優化庫存和生產的解決方案。通過對訂單需求的精準預測和生產計劃的優化調整,思邁特幫助該鋰電池企業提高了供應鏈效率,確保了緊急訂單的及時交付,避免了庫存積壓或短缺的情況,提升了企業在國際市場的競爭力。
通過這些案例可以看出,思邁特的數據分析不僅停留在表面,而是深入到製造企業的核心業務中,發現並解決了業務中的關鍵問題。正如利駿鋒所說,讓製造業客戶為數據分析體現的業務價值買單,而不僅僅是購買BI工具,是思邁特的核心理念和成功之道。
* 對話式數據分析,製造業數智化的新抓手
在數字經濟時代,AI與BI的融合成為大勢所趨。這種融合不僅代表了技術的進步,更是製造業數智化轉型的新抓手。
AI大模型的快速發展,為BI系統註入了新的活力。AI不僅可以處理海量數據,還能通過智能算法挖掘數據中的深層次模式和關聯。而BI則將這些數據轉化為可視化的報告和圖表,幫助企業進行決策分析。將AI與BI融合,實現從數據收集、整理到分析、預測的全流程自動化,大大提升了數據分析的效率和準確性。
將AI大模型與BI融合,可以構建對話式數據分析新模式,使用戶可以像與人對話一樣與數據進行交互,降低了用戶使用BI系統的門檻,不再需要復雜的技術操作或專業的編程技能。這種直觀、便捷的交互方式,使更多非技術人員也能充分利用數據分析工具,提升企業整體的數據分析能力。
此外,傳統的BI系統更多依賴於預先設定的分析模型和報表模板,靈活性較差。而通過融合AI大模型的對話式數據分析,可以實現動態的、個性化的數據挖掘和分析。
AI大模型根據用戶的具體問題和需求,自動選擇和調整分析模型,提供更為精準和深入的分析結果。這不僅提升了數據分析的深度和廣度,還能及時發現潛在的業務問題和機會,幫助企業做出更明智的決策。
利駿鋒告訴數據猿,為順應AI+BI融合的趨勢,思邁特即將推出其創新產品——思邁特對話式分析軟件【簡稱:Smartbi AIChat】,該產品通過先進的自然語言處理技術,用戶可以通過語音或文本與系統進行交互,提出各種業務問題,系統自動理解用戶的意圖,提供相應的數據分析結果。
此外,其內置強大的AI大模型,能夠自動進行數據挖掘和模式識別,無論是復雜的統計分析還是深度學習模型都能勝任,並提供高質量的分析結果。通過實時數據處理和分析,Smartbi AIChat可以即時反饋用戶的問題和需求,用戶不需要等待復雜的計算過程,即可獲得及時的分析結果和業務建議。
思邁特ABI平臺之對話式分析,來源:思邁特
落腳到製造領域,Smartbi AIChat將在多個方面助力製造業的數智化升級。例如,通過對設備傳感器數據的實時分析,企業可以預測設備故障,提前安排維護,減少停機時間;通過智能訂單預測和生產計劃,Smartbi AIChat幫助企業快速響應市場變化,調整生產計劃,提高市場響應速度和客戶滿意度。
在全球數字經濟快速發展的背景下,中國正處於從製造業大國向製造業強國轉變的關鍵時期。數據分析工具在這一過程中扮演著至關重要的角色,通過深入挖掘數據價值,幫助製造企業優化生產流程、提升經營效率,實現智能化轉型,是思邁特這樣的BI廠商的使命。
中國數字經濟規模及占GDP的比例 數據來源:信通院 數據猿製圖
隨著人工智能、大數據、雲計算、物聯網等技術的進一步融合,未來的數據分析工具將更加智能化和自動化。智能化、數據驅動的製造模式將成為新常態,數據分析技術將成為製造業數智化升級的核心驅動力。通過充分利用數據分析工具,製造企業不僅能實現全面的業務優化,還能在全球競爭中占據有利位置。
置身於這一轉型的歷史節點,製造企業必須緊跟技術發展的步伐,積極推進數智化轉型,以數據驅動的創新思維,迎接未來的挑戰和機遇。---來源: 數據猿DataYuan-