人間誠實周鴻祎：360 All in 大模型的六個解讀
主筆 / 村口有牛文章架構師 / 毛自聰出品 / 巨頭財經5月至今，人間躁動，各路大模型你方唱罷我登場，VC圈互聯網圈媒體圈已近癲狂。誰也沒想到，今日，360再度刷屏，老牌互聯網巨頭展現
在第四屆828 B2B企業節盛大啟幕之際，華為云傳來了一則振奮人心的消息：其Tokens服務已成功接入CloudMatrix384超節點，標志著華為云在AI算力領域邁出了重要一步。
借助xDeepServe架構的創新突破，華為云的單芯片性能實現了飛躍，達到了2400TPS的超高吞吐量和50ms的超低時延，這一表現遠遠超越了當前業界的平均水平。這一技術革新，無疑為AI應用的高效運行提供了強有力的支持。
近年來，中國AI算力需求呈現出爆炸式增長。據統計，從2024年初到今年6月底，中國日均Token消耗量從1000億激增到30萬億，短短一年半時間增長了300余倍。這一數據不僅反映了我國人工智能應用規模的迅速擴張，也對算力基礎設施提出了前所未有的挑戰。
面對這一挑戰，華為云于今年3月正式推出了基于MaaS的Tokens服務。該服務不僅提供了在線版、進線版、離線版及尊享版等多種規格，以滿足不同應用和場景的性能需求，還通過靈活的計費方式，為用戶帶來了更為便捷、低成本的算力解決方案。
此次Tokens服務接入CloudMatrix384超節點，更是將性能推向了新的高度。借助384原生的xDeepServe框架，吞吐量從年初的1920TPS躍升至2400TPS，TPOT也降低至50ms。這一提升，無疑為AI工具的高效運行提供了更為堅實的算力保障。
華為云的這一成就，并非單點突破，而是從硬件到軟件、從算子到存儲、從推理框架到超節點的全方位創新。CloudMatrix384超節點以其全新的計算架構，突破了性能瓶頸，構筑了強大的算力基礎。同時，CANN昇騰硬件使能、EMS彈性內存存儲以及xDeepServe分布式推理框架等技術的協同作用，共同推動了算力的極致釋放。
作為CloudMatrix384超節點的原生服務，xDeepServe采用了Transformerless的極致分離架構，將MoE大模型拆分為可獨立伸縮的微模塊，實現了高效的算力分配和利用。通過這一架構，CloudMatrix384上的大模型被拆解成“積木”，并分配到不同的NPU上同步處理任務，從而構建了一條超高吞吐的LLM服務平臺，即Tokens的“超高速流水線”。
CANN作為硬件加速計算的中間層，包含了多個算子庫和高性能通信庫等組件，為AI模型的高效運行提供了有力支撐。其中，專為超節點上的大語言模型（LLM）服務打造的高性能通信庫XCCL，充分發揮了CloudMatrix384擴展后的UB互聯架構的潛力，為Transformerless的全面分離奠定了堅實的硬件基礎。
而FlowServe作為被重構的“去中心”式分布式引擎，則將CloudMatrix384切割成完全自治的DP小組，每個小組都具備Tokenizer、執行器、RTC緩存與網絡棧等完整功能，實現了千卡并發也不擁堵的高效運行。
目前，華為云MaaS服務已廣泛支持DeepSeek、Kimi、Qwen等主流大模型及versatile、Dify等主流Agent平臺。通過大量的模型性能優化和效果調優，華為云實現了“源于開源，高于開源”的目標，讓更多大模型能夠在昇騰云上實現更快更好的運行。
以文生圖大模型為例，在輕微損失畫質的前提下，通過Int8量化、旋轉位置編碼融合算子等方式，華為云MaaS平臺實現了出圖速度的兩倍提升，最大尺寸支持達到2K×2K。而在文生視頻大模型上，通過量化提速和通算并行等方式，視頻生成速度大幅提升，相較于友商實現了3.5倍的性能提升。
在應用層面，華為云已與超過100家合作伙伴攜手深入行業場景，共同推出了豐富的Agent解決方案。這些方案在調研分析、內容創作、智慧辦公、智能運維等領域發揮了重要作用，幫助企業更便捷地擁抱AI創新，加速智能化轉型。
例如，基于MaaS平臺推出的今日人才數智員工解決方案，集成了先進的自然語言處理、機器學習和深度學習技術，能夠智能交互并處理任務，顯著提升服務效率與客戶滿意度。而北京方寸無憂科技開發的無憂智慧公文解決方案，則通過智能化手段提升了公文處理效能，推動了政企辦公的智能化轉型。
舉報 0收藏 0打賞 0評論 0分享 0 更多>同類資訊
國產操作系統銀河麒麟V11面世，飛騰自研CPU完成深度適配飛騰官方宣布，作為麒麟軟件戰略合作生態伙伴，旗下最新 CPU 產品飛騰騰銳 D3000M、飛騰騰云 S5000C-E 已完成與銀河麒麟操作系統V11 的深度適配。生態方面開放支持國內外 CPU、GPU、N…08-28OpenAI與Anthropic互檢AI模型：GPT系列現諂媚傾向，Claude拒答高風險問題08-28巨人網絡上半年營收利潤雙增，計劃中期分紅2.84億08-28英偉達二季財報亮眼：營收467億美元，連續九季刷新紀錄08-282025百度云智大會啟幕：百舸千帆升級，AI數字員工"吳彥祖"等亮相08-28國產AI芯片領頭羊！寒武紀股價飆升，市值超6500億成A股新“股王”08-28寒武紀股價飆升近16%，力壓貴州茅臺，登頂A股“新貴之王”08-28
華為MateXTs與三星新機同日爭艷，9月科技圈再掀波瀾至于三星首款三折疊屏手機，可能會命名為三星Galaxy GFold，此番缺席9月4日的發布會，那么就可能會延期到年底、甚至明年才能和我們見面了。 三星Galaxy G Fold大戰華為MateXTs，9月…08-28科大訊飛2025上半年財報亮點：教育醫療業務強勁，研發投入持續加大在教育領域，智慧教育業務營收35.31億元，同比增長23.47%，占總營收比重提升至32.36%，其中AI學習機收入實現翻番增長，成為拉動教育業務的核心動力。 作為人工智能領域的重要力量，科大訊飛憑借自主可控…08-28OpenAI與Anthropic聯手測試AI安全，共筑行業安全防線08-28OpenAI回應青少年自殺事件：將推家長監控，升級技術干預危機08-28AI算力引領未來：IDC預測全球ICT市場五年將增至7.6萬億美元08-28英偉達財報亮眼：營收467億凈利潤264億，600億回購難阻股價盤后跌5%08-28科創AIETF（588790）日漲幅達3.02%，成交額突破17億，重倉股表現搶眼科創AIETF（588790）成立于2024年12月31日，基金全稱為博時上證科創板人工智能交易型開放式指數證券投資基金，基金簡稱為博時科創板人工智能ETF。 規模方面，截止8月26日，科創AIETF（58…08-28AI產業步入快車道，科創人工智能ETF鵬華（589090）今日上市引關注根據Wind數據顯示，截至2025年7月24日，科創人工智能指數成份股自由流通市值合計5451億元。此外，推理與訓練算力需求爆發拉動AI芯片市場規模擴張，隨著廠商加大研發及行業政策刺激，以寒武紀為代表的本土…08-28點擊查看更多 +全站最新
公募基金“限購潮”來襲，投資者如何理性應對布局？
法拍市場奇聞：從貍花貓到豪宅，荒誕與現實交織的財富游戲
北礦檢測市占率四年新低，退休返聘人員成簽發主力，訂單響應慢引客戶流失
老牌柴油機巨頭華豐股份上半年凈利大跌72%，印度市場受挫轉型尋新路
中海地產穩健前行：手握千億現金，加速核心城市布局
機構與散戶共舞，股市新推手顯現熱門內容
華為云Tokens服務接入384超節點，全棧創新引領AI算力新飛躍國產操作系統銀河麒麟V11面世，飛騰自研CPU完成深度適配華為MateXTs與三星新機同日爭艷，9月科技圈再掀波瀾
A股新“股王”易主，寒武紀股價飆升，市值超6000億
機器人產業熱度攀升，機器人ETF易方達資金凈流入超十億
上海電信攜手上海AI實驗室，突破智算互聯瓶頸，榮獲算力中國年度大獎
本文鏈接：http://m.www897cc.com/showinfo-45-27097-0.html華為云Tokens服務接入384超節點，全棧創新引領AI算力新飛躍
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號