一加Ace2 Pro官宣：普及16G內存 引領24G
一加官方今天繼續為本月發布的新機一加Ace2 Pro帶來預熱，公布了內存方面的信息。“淘汰 8GB ，12GB 起步，16GB 普及，24GB 引領，還有呢？#一加Ace2Pro#，2023 年 8 月，敬請期待。”同時
浪潮信息元腦 R1 推理服務器已完成對開源框架 SGLang 最新版本的深度適配, 成功實現在單機高性能運行 DeepSeek R1 671B 模型時可最大支持超過 1000 路的用戶并發訪問。
DeepSeek R1 參數量達到 6710 億, 采用了 MLA 注意力機制和共享專家、路由專家共同組成的混合專家 (MoE) 架構, 其創新的模型架構也帶來了在推理服務上的性能挑戰。浪潮信息團隊從 AI 服務器和推理框架入手開展了協同優化工作。
元腦 R1 推理服務器 NF5688G7 原生搭載 FP8 計算引擎, 針對 DeepSeek R1 671B 模型部署速度快且無精度損失,1128GB HBM3e 高速顯存滿足 671B 模型 FP8 精度下不低于 800GB 顯存容量的需求, 單機支持全量模型推理情況下, 仍保留充足的 KV 緩存空間。顯存帶寬高達 4.8TB/s, 完美契合 DeepSeek R1 模型 "短輸入長輸出、顯存帶寬敏感" 的技術特征, 在推理解碼階段可實現極致加速。在通信方面,GPU P2P 帶寬達 900GB/s, 保障單機部署張量并行最佳通訊性能。
SGLang 是新興的開源推理框架項目, 其得到活躍的社區支持, 并在工業界獲得了廣泛應用。SGlang 的核心特性包括: 快速的后端運行時、靈活的前端語言、廣泛的模型支持等。尤其值得關注的是,SGLang 針對 MLA 注意力機制開展了針對性的工程優化, 并在框架上對 MoE 架構的推理做了優化設計。SGLang 也是最早適配 DeepSeek v3 和 R1 的優選推理框架之一。
目前, 元腦 R1 推理服務器 NF5688G7 已完成 SGLang 最新版本 0.4.3 的適配優化工作。通過硬件調優、算子優化、混合并行、多 token 預測等多方面的工程實踐, 在元腦 R1 推理服務器 NF5688G7 上運行 DeepSeek 671B R1 模型, 成功實現了單用戶解碼最高 33 tokens / s 及最大用戶并發超 1000 的優異性能表現。
單路并發性能測試日志, 根據 TPOT 換算用戶解碼性能為 33.3 tokens / s
DeepSeek R1 671B 是一個稀疏度較高的 MoE 架構模型, 具有模型參數量大、計算量小的特點。和 Dense 模型相比, 在滿足 KV cache 的顯存占用的前提下, 可以支持更高的并發訪問需求。實測數據表明, 基于單臺 NF5688G7, 在使用 DeepSeek R1 進行帶思維鏈深度思考的短輸入長輸出的問答場景下, 使用 100/1000 作為輸入輸出長度, 實測在單個用戶并發時的解碼性能為 33.3tokens / s; 在 16 個用戶并發時, 每個用戶有約 20 tokens / s 的解碼性能; 在 64 個用戶并發時, 每個用戶有約 10.4 tokens / s 的解碼性能。而在使用 1024 個用戶并發訪問的極限測試時, 單臺 NF5688G7 實現了 3975.76 tokens / s 的吞吐性能, 可以滿足超高并發場景下多用戶使用需求。
1024 路并發性能測試日志, 測試使用了 1000/1000 的輸入輸出長度, 實現了 3975.76 tokens / s 的總設備吞吐
浪潮信息團隊正與業內團隊密切合作, 在計算架構、算子調優、并行策略、框架適配、調度管理等多個方面持續發力, 旨在為用戶帶來高性能、高效穩定、性價比高的 DeepSeek 大模型部署服務方案, 助力大模型快速落地應用。
浪潮信息是全球領先的 IT 基礎設施產品、方案和服務提供商, 通過發展新一代以系統為核心的計算架構, 打造開放、多元、綠色的元腦智算產品和方案。浪潮信息致力于 AI 計算平臺、資源平臺和算法平臺的研發創新, 并通過元腦生態攜手領先伙伴, 加速人工智能的創新和應用落地。
本文鏈接：http://m.www897cc.com/showinfo-26-133897-0.html浪潮信息元腦 R1 服務器適配最新開源框架, 單機 DeepSeek 671B 并發過千
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號