三院士三教授熱聊元宇宙&——AIGC，學術界怎么看？
來源：清元宇宙在近日舉辦的中國江寧2023元宇宙產業·人才高峰論壇暨AIGC發展大會上，中國工程院院士譚建榮、劉韻潔、鄭緯民出席并發表了主旨演講。除了三大院士，還有清華
9 月 8 日消息，中國科學院自動化研究所今日官宣，該所李國齊、徐波團隊在發表原創內生復雜性理論系列論文的工作基礎上，與沐曦 MetaX 合作，打造了類腦脈沖大模型“瞬悉 1.0”（SpikingBrain-1.0），在國產千卡 GPU 算力平臺上完成全流程訓練和推理，實現了大模型在超長序列推理上數量級的效率和速度提升，展示了構建國產自主可控的新型非 Transformer 大模型架構生態的可行性。
研究團隊開源了 SpikingBrain-1.0-7B 模型并開放 SpikingBrain-1.0-76B 測試網址，同步公開了經工業界大規模驗證的類腦脈沖大模型 SpikingBrain-1.0 中英文技術報告。
當前，基于 Transformer 架構的大模型在 Scaling law 驅動下，通過增加網絡規模、算力資源和數據量提升模型智能水平，但模型的基本計算單元為簡單的點神經元模型，我們將此路徑稱為“基于外生復雜性”的通用智能實現方法。Transformer 架構的固有缺點訓練時開銷隨序列長度呈平方級增長以及推理時顯存占用也隨序列長度線性增加，構成了資源消耗的主要瓶頸，導致其處理超長序列的能力受限。
研發團隊借鑒大腦神經元內部復雜工作機制提出“基于內生復雜性”的大模型構架方式，打造類腦脈沖大模型“瞬悉 1.0”（ SpikingBrain-1.0），在理論上建立了脈沖神經元內生動力學與線性注意力模型之間的聯系，揭示了現有線性注意力機制是樹突計算的特殊簡化形式，從而清晰地展示了一條不斷提升模型復雜度和性能的新型可行路徑。
研發團隊進而構建并開源了基于脈沖神經元、具有線性（SpikingBrain-1.0-7B）及混合線性復雜度（SpikingBrain-1.0-76B，激活參數量 12B）的新型類腦基礎模型，開發了面向國產 GPU（沐曦 MetaX 曦云 C550）集群高效訓練和推理框架、Triton 算子庫、模型并行策略以及集群通信原語。
SpikingBrain-1.0 在多個核心性能上實現突破：
第一，極低數據量上的高效訓練：訓練階段具有線性或近線性復雜度，顯著提升長序列訓練效率，并能依托高效轉換訓練范式，以約為主流大模型 2% 的預訓練數據量實現與眾多開源 Transformer 模型在多任務語言理解（MMLU）, 中文多任務語言理解（CMMLU、Ceval）, 常識推理能力（ARC、HS）任務上相媲美的性能。
第二，推理效率的數量級提升：推理階段結合脈沖神經元事件驅動特性，SpikingBrain 具有常數或部分層常數級別的復雜度和存儲開銷，SpikingBrain-7B 模型在 100 萬 Token 長度下 TTFT（生成第一個 Token 所需時間）相比 Transformer 架構加速達到 26.5 倍，400 萬 Token 長度下加速超過 100 倍。同時在手機 CPU 端 64k-128k-256k 長度下較 Llama3.2 的同規模模型 Decoding 速度提升 4.04x-7.52x-15.39x，在超長序列處理能力上展現出數量級的效率和速度提升。
第三，國產自主可控類腦大模型生態的構建：SpikingBrain 適配了面向國產 GPU 集群的高效訓練和推理框架、Triton 算子庫、模型并行策略以及集群通信原語，表明了構建國產自主可控的新型非 Transformer 大模型架構生態的可行性。
第四，基于動態閾值脈沖化的多尺度稀疏機制：設計細粒度的兩階段動態閾值脈沖化策略，結合粗粒度的混合專家模型（MoE）方案，在 7B 模型上實現了超過 69.15% 的稀疏度，長序脈沖占比約 1.85%，為低功耗的類腦大模型運行提供有力支撐。
中國科學院自動化研究所表示，這是我國首次提出大規模類腦線性基礎模型架構、并首次在國產 GPU 算力集群上構建類腦脈沖大模型的訓練和推理框架。提出的模型解決了脈沖驅動限制下的大規模類腦模型性能退化問題，其超長序列處理能力在法律 / 醫學文檔分析、復雜多智能體模擬、高能粒子物理實驗、DNA 序列分析、分子動力學軌跡等超長序列任務建模場景中具有顯著的潛在效率優勢。本次發布的大模型為新一代人工智能發展提供了非 Transformer 架構的新技術路線，并將啟迪更低功耗的下一代神經形態計算理論和芯片設計。
附 SpikingBrain-1.0-7B 開源地址：
https://github.com/BICLab/SpikingBrain-7B
試用網站：
https://controller-fold-injuries-thick.trycloudflare.com
本文鏈接：http://m.www897cc.com/showinfo-45-27451-0.html我國首個：類腦脈沖大模型“瞬悉 1.0”問世，在國產 GPU 算力平臺完成訓練推理
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號