初創公司 Underdog 推出僅 32MB 的超輕量級語音模型，挑戰大模型主流趨勢

在生成式人工智慧領域的一項令人驚歎的發展中，一家名為 Underdog 的初創公司推出了一款體積異常小巧的語音模型，向當前追求海量、重資源AI系統的主流趨勢發起了挑戰。

這款新模型的體積僅為 32MB，它證明瞭高質量的生成能力並不一定需要大型語言模型通常所具備的龐大計算能力。儘管身材嬌小，該模型卻能夠同時生成清晰的語音和音樂作品。

這種極高的效率標誌著對行業標準的重大偏離——在傳統標準中，模型通常需要佔用數吉位元組（GB）的儲存空間以及大量的 GPU 記憶體才能有效執行。

通過最佳化架構使其適應如此微小的佔用空間，Underdog 正將其技術定位應用於硬體資源受限的環境中，例如移動裝置、邊緣計算硬體和嵌入式系統。該公司提供的演示展示了該模型的多功能性，證明它能夠處理複雜的音訊任務，而無需進行基於雲端的處理。

這可能會對隱私保護和延遲產生深遠的影響，因為本地執行避免了將敏感資料傳輸到外部伺服器的需要。此外，極低的記憶體需求表明，開發人員可以將複雜的音訊生成功能整合到以前由於硬體限制而無法支援此類功能的應用程式中。

雖然整個行業一直專注於將模型擴充套件到擁有數萬億引數的規模，但 Underdog 的方法突顯了模型蒸餾和高效架構設計日益增長的重要性。

隨著對端側人工智慧（on-device AI）需求的不斷增長，像這樣只有 32MB 的模型創新，可能會成為使先進的生成式工具能夠被更廣泛的使用者和裝置所使用的關鍵所在。

該公司尚未釋出完整的技術規格，但最初的演示已經引起了業界的廣泛興趣，人們都在關注這樣一個緊湊的模型是如何在不同的音訊模態中保持其卓越效能的。

背景補充：近年來，以 GPT 系列為代表的大型生成式模型雖然能力驚人，但其高昂的算力和電力成本、對雲端計算的依賴以及隱私洩露隱患，促使學術界和工業界分流出“輕量化”與“端側AI”的研究方向。

模型蒸餾、量化和剪枝等技術的進步，使得在手機、物聯網裝置等本地端執行復雜 AI 成為可能。Underdog 的這一突破不僅展示了演算法最佳化的巨大空間，也預示著未來AI應用將更加普及、低碳且注重隱私。

來源: TechCrunch