官方承諾：K60至尊版將會首批升級MIUI 15
全新的MIUI 15今天也有了消息，在官宣了K60至尊版將會搭載天璣9200+處理器和獨顯芯片X7的同時，Redmi給出了官方承諾，K60至尊重大更新首批升級，會首批推送MIUI 15。也就是說雖然
微軟開源 1bit 大模型推理框架！
現在 1000 億參數大模型量化后單 CPU 可跑，速度可達每秒 5-7 個 token。
比如在蘋果 M2 新品上運行 BitNet b1.58 3B 模型，be like：
就是今年爆火論文 The Era of 1-bit LLMs 的官方代碼實現，開源不到一周 GitHub 已攬獲 7.9k Star。
傳統大模型參數以 16 位浮點數（如 FP16 或 BF16）形式的存儲，而 BitNet b1.58 將其統統變成了三進制，也就是{-1, 0, 1}。
這里的“1.58 bit”指每個參數可以用 1.58 位的信息來表示。
轉換之后，矩陣中的計算就只會涉及到加法，因此會讓大模型在保持一定精度的同時，顯著減少所需的存儲空間和計算資源，也顯著提升了在本地設備上運行 LLM 的可能性。
這個項目開源后，在 X 上也受到了一波高度關注。
bitnet.cpp 是 1bit LLM（例如 BitNet b1.58）的官方推理框架。
該框架配備了一系列優化內核，支持在 CPU 上進行快速且無損的 1.58bit 模型推理，未來將擴展支持 NPU 和 GPU。
bitnet.cpp 的首版主要支持 CPU 推理。
具體性能改進方面，在 ARM CPU 上，該框架可實現 1.37 至 5.07 倍的加速，而且更大的模型將有更顯著的性能提升。
同時，它能將能耗降低 55.4% 至 70.0%，進一步增強效率。
在 x86 CPU 上，加速效果介于 2.37 至 6.17 倍之間，能耗減少 71.9% 至 82.2%。
網友們也發現了華點，在 x86 上的性能增益量比 ARM 更大。
此外，bitnet.cpp 能使千億參數模型量化后單 CPU 可跑，速度可達每秒 5-7 個 token，接近人類閱讀速度。
微軟還展示了使用 bitnet.cpp 推理框架支持的不同 1 bit LLM。
1 bit LLM 的實現方法，微軟在一年前就有相關研究，稱為 BitNet（一種 Transformer），用 BitLinear 替換了 nn.Linear。
今年二月，BitNet 原班人馬在上一篇論文的基礎之上做了優化，提出 BitNet b1.58，在原始 BitNet 的基礎上增加了一個額外的 0 值。
然后這篇內容只有 6 頁的論文引發熱議：
BitNet b1.58 模型的權重被量化為三元值 {-1, 0, 1}，相當于在二進制系統中使用了 1.58 bit 來表示每個權重。
采用了 absmean 量化函數來約束權重，將權重矩陣通過其平均絕對值進行縮放，然后四舍五入到最接近的整數值（-1、0 或 1）。
激活量化中，激活值被縮放到 [?Qb, Qb] 的范圍，以此來消除零點量化。
在架構設計上，BitNet b1.58 借鑒了 Llama，使用了 RMSNorm、SwiGLU、旋轉位置編碼等組件，并移除了所有偏置項。這種設計使其能夠輕松集成到主流的開源框架中。
實驗中，與 Llama 相比，BitNet b1.58 在矩陣乘法方面節省了 71.4 倍的計算能耗。
這種方法發布后，也有不少人在這項研究的基礎之上進行探索。
其中一個問題是，BitNet b1.58 將每個參數僅用三元值表示，但是所有這些都需要從頭開始訓練模型，并不是誰都有預算來進行 LLM 預訓練。
而 Huggingface Transformers 最近整合了 BitNet b1.58，運用了一些技巧，使得現有模型可以直接微調到 1.58bit。
感興趣的童鞋可以自行查閱。
不過也有網友指出了這種方法的局限：
總之，1 bit LLM 具有巨大的潛力。
但也正如網友所言，1 bit LLM 關鍵還得是能在實踐中證明自己。
參考鏈接：
[1]https://github.com/microsoft/BitNet
[2]https://x.com/rohanpaul_ai/status/1847814379657462201
[3]https://x.com/rohanpaul_ai/status/1848172443258728860?s=46&t=iTysI4vQLQqCNJjSmBODPw
[4]https://huggingface.co/blog/zh/1_58_llm_extreme_quantization
本文來自微信公眾號：微信公眾號（ID：QbitAI），作者：西風，原標題《微軟開源爆火 1.58bit 大模型推理框架！千億參數模型量化后單 CPU 可跑，速度每秒 5-7 個 token》
本文鏈接：http://m.www897cc.com/showinfo-26-125201-0.html微軟開源 1.58bit 推理框架：千億參數模型量化后單 CPU 可跑，速度每秒 5-7 個 token
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
上一篇： 安吉爾 37 周年盛典，超值福利大放送
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號