Maple專案突破：讓消費級顯示卡也能流暢執行26B大模型

隨著大型語言模型（LLM）的飛速發展，其對計算資源的巨大需求已成為普通使用者的一道門檻。許多擁有消費級硬體的使用者往往難以執行高引數模型。

為瞭解決這一挑戰，一個名為“Maple”的新專案應運而生。該專案通過一種創新的模型剪枝技術，成功讓Gemma 2 26B模型在僅配備6GB視訊記憶體的GPU上，達到了每秒45個token（TPS）的驚人執行速度。

這一進展標誌著AI技術普及化程式中的一個重要里程碑，讓普通使用者無需昂貴的企業級基礎設施即可體驗高效能AI。Maple實現這一效率飛躍的核心在於一種被稱為“Sub-2-BPW（每權重位元數）混合專家模型（MoE）剪枝”的方法。

通過在不犧牲模型核心智慧的前提下，激進地降低精度並減少活躍引數數量，開發團隊成功壓縮了Gemma 26B模型的記憶體佔用。這使得該模型能夠輕鬆適配6GB視訊記憶體的限制，而這種配置在主流遊戲筆記型電腦和桌上型電腦中非常普遍。

Maple專案最令人印象深刻之處在於其效能表現。45 TPS的執行速度足以媲美許多大型系統，為本地推理提供了流暢且響應迅速的體驗。

這種速度對於需要即時互動的應用場景至關重要，例如聊天機器人、程式碼輔助工具和創意寫作助手。通過最佳化MoE架構，Maple確保在推理過程中僅啟用模型中最相關的部分，從而大幅降低了計算負載和延遲。

對於開發者和AI愛好者而言，Maple的釋出代表了模型部署方式的轉變。使用者不再僅僅依賴於可能存在隱私風險且成本高昂的雲端API，而是可以在本地執行復雜的模型。

目前，該專案已在GitHub上開源，為社群提供了實現這些剪枝技術所需的工具和檔案。隨著AI領域的不斷演進，像Maple這樣的專案證明瞭精巧的軟體最佳化與原始硬體效能同樣具有影響力。

這一突破為本地AI的未來帶來了希望。隨著更多研究人員專注於剪枝和量化技術，我們可以預見，未來會有更多超大規模模型在配置日益平庸的硬體上執行。

Maple作為高效能本地推理可行性的概念驗證，為新一輪高效、私密且快速的AI應用浪潮開啟了大門。

來源: GitHub