5月iOS設備性能榜：M1 M2依舊是榜單前五
和上個月一樣，沒有新品發布的iOS設備性能榜的上榜設備并沒有什么更替，僅僅只有跑分變化而產生的排名變動，剛剛開始的蘋果WWDC2023，推出的產品也依舊是新款Mac Pro、新款Mac Stu
浪潮信息宣布元腦企智一體機已率先完成對 Kimi K2 萬億參數大模型的適配支持，并實現單用戶 70 tokens / s 的流暢輸出速度，為企業客戶高效部署應用大模型提供高處理性能和完善的軟件工具平臺支持。
Kimi K2 是月之暗面推出的開源萬億參數大模型，創新使用了 MuonClip 優化器進行訓練，大幅提升了模型的學習效率。K2 在代碼生成、數學推理、Agent 多步驟任務上展現出領先能力，評測指標達到業界領先水平。自發布以來，K2 在開發者和研究社區引起廣泛關注，迅速獲得在編碼輔助和 Agent 驅動自動化任務中的部署應用。
Kimi K2 的模型總參數量達 1 萬億，激活參數為 320 億。K2 使用混合專家（MoE）模型結構，較 DeepSeek V3 采用了更大的參數量和更多的專家數。K2 模型 1 萬億的參數量對 AI 計算系統提出至少 1TB 的顯存容量需求，384 個路由專家所帶來的專家負載不均衡性對推理速度有很大影響。目前業界可公開訪問的 K2 API 的輸出速度一般低于 20 tokens / s，這樣較低的性能對于編程或 Agent 類場景很不友好，會嚴重影響用戶體驗。Kimi K2 憑借其為智能體任務設計的架構和優秀的智能體驗，展現出巨大的應用潛力，但提升推理速度和輸出穩定性是其成為可信賴的生產力工具需要解決的核心挑戰。
元腦企智一體機采用元腦服務器 NF5688G7 作為算力底座，其搭載 FP8 計算引擎，配備 1128GB HBM3e 高速顯存，單臺服務器即可支持 K2 萬億參數全量模型部署。NF5688G7 服務器具備 900GB/s 的 GPU P2P 帶寬，為 Kimi K2 提供了專家間高速并行通信，最大化并行效率。該服務器可支持 3200Gbps 的 RDMA 擴展網絡，為預填充-解碼分離部署和大規模專家并行預留了充足的擴展空間。
浪潮信息已完成元腦企智一體機對 K2 的適配，支持 64K 上下文長度和多路用戶實時并發訪問。基于 SGLang 推理框架，通過減少 MoE 對齊塊大小內核的小批量模式開銷和 fused_moe 的內存消耗，并復用 deepGEMM 等高效算子，實現單用戶并發下輸出速度超過 70 tokens / s，25 用戶并發時每用戶輸出速度超過 25 tokens / s。優化后的計算性能可保證用戶在進行復雜的代碼生成、長文本書寫或 Agent 調用時，能夠獲得流暢、低延遲的交互體驗。
SGLang 啟動 K2 推理服務，用戶交互時的解碼速度
元腦企智一體機提供了元腦企智（EPAI）平臺與 K2 大模型的無縫集成，為企業用戶提供了一套軟硬件協同優化、開箱即用的端到端大模型私有化部署解決方案。通過元腦企智平臺，企業可利用低代碼、可視化界面，便捷地進行數據準備、模型微調、知識檢索（RAG）和智能體（Agent）構建。
元腦企智一體機已成功部署于金融、制造、能源、醫療等多個關鍵行業，幫助企業快速、安全、經濟地構建專屬大模型應用，加速產業智能化轉型步伐。
浪潮信息是全球領先的 IT 基礎設施產品、方案和服務提供商，通過發展新一代以系統為核心的計算架構，打造開放、多元、綠色的元腦智算產品和方案。浪潮信息致力于 AI 計算平臺、資源平臺和算法平臺的研發創新，并通過元腦生態攜手領先伙伴，加速人工智能的創新和應用落地。
本文鏈接：http://m.www897cc.com/showinfo-26-171786-0.html萬億參數！元腦企智一體機率先支持 Kimi K2 大模型
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號