在第四屆828 B2B企業節盛大開幕的當天下午,華為云傳來了一則令人矚目的消息:其Tokens服務已成功全面融入CloudMatrix384超節點,這一融合標志著華為云在AI算力領域的又一次重大突破。
得益于xDeepServe架構的創新應用,華為云Tokens服務的性能得到了顯著提升。具體而言,該服務在單芯片上實現了2400TPS的吞吐量,同時保持了50ms的TPOT(Token處理時延),這一成績無疑為AI算力的應用樹立了新的標桿。
近年來,中國AI算力需求呈現出爆炸式增長。數據顯示,從2024年初至2025年6月底,中國的日均Token消耗量從1000億激增到30萬億,短短一年半時間內增長了300多倍。這一趨勢對算力基礎設施提出了前所未有的挑戰。為了滿足這一需求,華為云在2025年3月推出了基于MaaS(模型即服務)的Tokens服務,提供了多種規格以滿足不同應用場景的需求。

此次Tokens服務與CloudMatrix384超節點的結合,更是將這一服務的性能推向了新的高度。依托超節點的xDeepServe框架,Tokens服務的吞吐量從年初的1920TPS躍升至2400TPS。這一提升的背后,是華為云對于大算力構建全棧創新的深刻理解,包括硬件、軟件、算子、存儲、推理框架及超節點等各個環節的協同優化。
xDeepServe架構作為CloudMatrix384超節點的原生服務,其創新之處在于采用了Transformerless極致分離架構。這一架構將MoE大模型拆解為Attention、FFN、Expert三個可獨立伸縮的微模塊,并通過微秒級XCCL通信庫與FlowServe自研推理引擎進行高效整合。經過這樣的優化,單卡的吞吐量從非超節點的600tokens/s大幅提升至2400tokens/s。

華為云還透露了xDeepServe架構的未來發展計劃。目前,該架構已經實現了MA分離,未來還將進一步將Attention、MoE、Decode改造為數據流,并擴展至多臺超節點,以實現推理吞吐的線性提升。
在應用層面,華為云Tokens服務已經支持了包括DeepSeek、Kimi、Qwen等在內的主流大模型,以及versatile、Dify等主流Agent平臺。同時,華為云還與超過100家合作伙伴攜手,在多個領域開發AI Agent,如調研分析、內容創作、智慧辦公、智能運維等。這些應用不僅提升了服務效率與客戶滿意度,還推動了政企辦公的智能化轉型。
例如,基于MaaS平臺的今日人才數智員工解決方案,通過集成自然語言處理、機器學習等技術,為企業提供了智能化的人才管理服務。而北京方寸無憂科技開發的無憂智慧公文解決方案,則利用AI技術實現了公文的自動化處理,大大提高了辦公效率。
舉報 0收藏 0打賞 0評論 0分享 0 更多>同類資訊
Karpathy力贊!AGI基礎設施新突破,開源環境中心引領AI未來除此之外,EnvironmentsHub關心的重點是,讓人人都能用上這套基礎設施,使研究人員和初創公司都能為自己的任務訓練模型、集成工具、運行強化微調,以及優化Agent支撐框架。 通過降低這一門檻,En…08-29微軟首發自研AI模型:MAI-Voice-1實現秒速音頻生成,探索Copilot新功能08-292025年全球智能手機出貨量預計增1%,IDC:蘋果與新技術成增長引擎08-29慧與HPE升級Mist平臺:AI智能體引領網絡運維自主化新篇章08-29奇點靈智獲數千萬融資,升級兒童AI教育平臺,智能英語機器人引領啟蒙新潮流08-29
“斫輪·九章”亮相:軌道交通車輛健康管理迎來智能化新篇章08-29英偉達依賴癥?兩大客戶撐起近四成營收引關注08-29
百度智能云全新升級,推出“AI吳彥祖”數字員工及一見工序合規分析面對AI云基礎設施的投入,從成本中心轉化為新型利潤中心的行業新趨勢,今年云智大會上,百度智能云全新升級了百舸AI計算平臺5.0和千帆企業級AI開發平臺4.0,讓企業能夠以更低成本、更高效率部署和開發AI產…08-29
百度智能云全面升級,2025云智大會發布“AI 吳彥祖”數字員工百度集團執行副總裁、百度智能云事業群總裁沈抖在會上提出核心論斷:“智能經濟時代,需要以‘智能優先’為核心的 AI云作為新基礎設施”,并宣布百度智能云完成全方位升級 —— 推出百舸 AI 計算平臺 5.0、千…08-29
科創AIETF午間收漲2.20%,半日成交額破11億,重倉股表現各異來源:新浪基金∞工作室 8月28日,截止午間收盤,科創AIETF(588790)漲2.20%,報0.837元,成交額11.48億元。科創AIETF(588790)重倉股方面,寒武紀截止午盤漲7.13%,瀾起科…08-29
科創人工智能ETF華寶開盤下滑,重倉股表現分化,寒武紀領漲來源:新浪基金∞工作室 8月28日,科創人工智能ETF華寶(589520)開盤跌1.79%,報1.208元。科創人工智能ETF華寶(589520)重倉股方面,寒武紀開盤漲3.49%,瀾起科技漲0.74%,金山…08-29
銅仁數博會:11大應用場景璀璨亮相,展現數字經濟新實力8月27日,2025中國國際大數據產業博覽會專業展在貴陽國際會議展覽中心盛大開展,銅仁市“場景大數據 數字經濟銅仁實踐”館同步開館迎賓,以11個極具特色的應用場景吸引眾多目光,展示銅仁在數字領域的卓越實踐成果…08-29
王國棟院士:人工智能引領鋼鐵行業轉型升級,邁向綠色未來中國工程院院士王國棟日前在“AI+鋼鐵”技術發布會期間接受人民網記者專訪時表示,要利用鋼鐵行業豐富的大數據、專家的理論與經驗,以及生成式人工智能(AIGC)技術,實施“數據密集、智能涌現、人機協同”的三元認知…08-29
中國電信2025數博會展示“優數精算”,四大展區共繪數智轉型新藍圖8月28日,2025中國國際大數據產業博覽會在貴州貴陽開幕,中國電信作為建設網絡強國、科技強國、數字中國和維護網信安全的國家隊和主力軍,以“優數精算 星辰智惠”主題精彩亮相,全面展示云改數轉智惠戰略升級成效…08-29
AI重塑云計算版圖,百度智能云領跑智能化轉型新賽道經過反復實踐,百度智能云得出的結論是,算力、模型、數據和工程能力,構成了AI云的四項核心要素。 以百度智能云為例,其通過百度百舸(AI基礎設施)、千帆大模型平臺(模型與應用開發),以及行業解決方案,為企業提…08-29點擊查看更多 +全站最新
2025成都車展亮點:榮威M7 DMH豪華轎車預售,續航超160km僅9.78萬起
嵐圖港股上市:以科技為翼,產業金融雙輪驅動新能源未來
智己LS6成都車展吸睛,超級增程技術引領,預售訂單火爆突破4.8萬
嵐圖知音上市:華為技術加持,20.29萬起售,配置全面升級
奇瑞X3L預售開啟,加長增程動力強勁,配置多樣價格親民引關注
嵐圖夢想家26款成都車展首發預售,東方美學與智能科技并存熱門內容
“斫輪·九章”亮相:軌道交通車輛健康管理迎來智能化新篇章
百度智能云全新升級,推出“AI吳彥祖”數字員工及一見工序合規分析
百度智能云全面升級,2025云智大會發布“AI 吳彥祖”數字員工
科創AIETF午間收漲2.20%,半日成交額破11億,重倉股表現各異
科創人工智能ETF華寶開盤下滑,重倉股表現分化,寒武紀領漲
銅仁數博會:11大應用場景璀璨亮相,展現數字經濟新實力
本文鏈接:http://m.www897cc.com/showinfo-45-27190-0.html華為云Tokens服務接入384超節點,突破AI算力增長瓶頸
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com