人間誠實周鴻祎：360 All in 大模型的六個解讀
主筆 / 村口有牛文章架構師 / 毛自聰出品 / 巨頭財經5月至今，人間躁動，各路大模型你方唱罷我登場，VC圈互聯網圈媒體圈已近癲狂。誰也沒想到，今日，360再度刷屏，老牌互聯網巨頭展現
在第四屆828 B2B企業節的盛大開幕式上，華為云公布了一項重大進展：其Tokens服務已成功融入CloudMatrix384超節點體系。這一融合得益于xDeepServe架構的革新，使得單芯片的處理能力突飛猛進，達到了前所未有的2400TPS（每秒事務處理數），同時保持了50ms的TPOT（任務處理總時間），這一成績遠超當前行業標準。
面對中國AI算力需求的爆炸式增長，華為云展現出其“全棧創新”的實力。數據顯示，從2024年初至2025年6月底，中國日均Token消耗量從1000億飆升至30萬億，這一300多倍的增長凸顯了人工智能應用的迅猛擴張，也對算力基礎設施提出了更高要求。
早在今年3月，華為云便推出了基于MaaS（模型即服務）的Tokens服務，旨在滿足不同應用與場景的性能和時延需求。該服務提供多種規格，如在線版、進線版、離線版及尊享版，為大模型和Agent智能體等AI工具提供了靈活、高效且成本優化的算力解決方案。
此次，Tokens服務與CloudMatrix384超節點的結合，通過xDeepServe框架的再次升級，將吞吐量從年初的1920TPS提升至2400TPS，TPOT則縮短至50ms。這一成就背后，是華為云從硬件到軟件、從算子到存儲、從推理框架到超節點的全方位技術創新。
CloudMatrix384超節點以其獨特的計算架構，打破了性能瓶頸，奠定了堅實的算力基礎。同時，CANN（昇騰計算架構）硬件使能技術優化了算子與通信策略，使得云端算力得以高效調用。EMS彈性內存存儲則打破了AI內存墻，實現了“以存強算”，進一步釋放了芯片算力。而xDeepServe分布式推理框架，則通過Transformerless的極致分離架構，讓超節點能夠釋放出更高效的算力。
xDeepServe將MoE大模型拆解為可獨立伸縮的Attention、FFN、Expert三個微模塊，這些“積木”被分配到不同的NPU上同步處理任務，然后通過高效的XCCL通信庫與FlowServe自研推理引擎重新組合，形成超高吞吐量的LLM服務平臺。這一創新架構，使得單卡吞吐量從600tokens/s躍升至2400tokens/s。
XCCL作為專為超節點上的大語言模型服務設計的高性能通信庫，充分發揮了CloudMatrix384的UB互聯架構潛力，為Transformerless的全面分離提供了堅實的帶寬與時延支持。而FlowServe作為“去中心”式分布式引擎，將CloudMatrix384劃分為完全自治的DP小組，每個小組自給自足，確保了千卡并發時的流暢運行。
華為云MaaS服務目前已支持DeepSeek、Kimi、Qwen、Pangu、SDXL、Wan等主流大模型及versatile、Dify等主流Agent平臺。通過大量的模型性能優化與效果調優，華為云實現了“源于開源，高于開源”，讓大模型在昇騰云上展現出更卓越的性能。例如，在文生圖大模型上，通過量化與融合算子等技術，華為云MaaS平臺在輕微損失畫質的情況下，實現了出圖速度的兩倍提升，最大支持2K×2K尺寸。在文生視頻大模型上，則通過量化與通算并行等方式，大幅提升了視頻生成速度，相較于競爭對手實現了3.5倍的性能優勢。
在應用層面，華為云已與超過100家合作伙伴攜手，深入行業場景，共同開發豐富的Agent應用。這些應用覆蓋了調研分析、內容創作、智慧辦公、智能運維等多個領域，解決了眾多產業難題，幫助企業更便捷地擁抱AI創新，加速智能化轉型。例如，基于MaaS平臺推出的今日人才數智員工解決方案，集成了先進的自然語言處理、機器學習和深度學習技術，能夠智能交互并處理任務，顯著提升服務效率與客戶滿意度。而北京方寸無憂科技開發的無憂智慧公文解決方案，則提升了公文處理效能，推動了政企辦公的智能化轉型。
舉報 0收藏 0打賞 0評論 0分享 0 更多>同類資訊
Rokid Glasses智能眼鏡紐約亮相，全球可穿戴AI領域迎新突破IT之家 8 月 27 日消息，Rokid 官方今日晚宣布，Rokid Glasses在美國紐約正式面向海外市場發布，標志著全球可穿戴人工智能領域邁入新階段。 此前，Rokid 與高德地圖達成合作，聯合發布…08-28
科大訊飛40億定增，加速布局AI教育，劍指3000億藍海市場AI重塑教育，背后得益于科大訊飛等中國AI領頭羊的持續創新和精進，它搶抓AI時代根紅利，正在G端、B端、C端等教育場景規模化落地AI。 科大訊飛積累了龐大的、高質量的語料、教育數據、用戶反饋和業務經驗，為星…08-28IBM與AMD強強聯合，探索量子計算與AI融合新境界08-28
AI芯片巨頭寒武紀股價飆升，超越茅臺暫成A股“新貴”近期，高盛發布研報，進一步上調寒武紀目標價50%至1835元，主要原因包括中國云計算資本支出提高、芯片平臺多樣化、寒武紀研發投入增大等。 據TrendForce預測，2025年中國AI服務器市場中外采芯片比…08-28AI產業鏈火爆！科創人工智能ETF華夏(589010)高開高走，寒武紀權重超15%今日截至10點02，在寒武紀財報遠超預期、《“人工智能+”行動意見》發布等多重利好加持下，AI產業鏈全線爆發，智能音箱、DeepSeek、MCU等概念指數領漲市場。該應用整合了深度思考、資源檢索以及影視娛樂功…08-28
寒武紀商業帝國全貌探析08-28美夫婦控告OpenAI：ChatGPT助16歲兒走向不歸路08-27知乎Q2財報亮點：經調整凈利潤9130萬，AI賦能社區生態顯成效08-27昆侖萬維2025上半年財報：虧損8.59億，短劇平臺DramaWave單月流水破2千萬美元08-27華為云Tokens服務性能飛躍：全面接入384超節點，吞吐量飆升至2400TPS08-27馬蜂窩陳罡：AI成旅游業變革核心，推動服務向全程智能化躍遷08-27
榮耀端側AI語音技術突破，入選國際頂會，引領智能翻譯新時代榮耀MagicOS副總裁孫建發表示，此次研究成果入選 INTERSPEECH，是對榮耀技術創新的鼓勵，同樣印證了“從用戶需求出發”的研發理念，讓每位用戶在無網絡環境下也能享受精準、實時的多語種翻譯，這才是端側…08-27
蘋果AI布局加速，或將斥巨資收購歐洲兩大AI初創企業IT之家 8 月 26 日消息，The Information 今晚報道稱，蘋果高管已就收購歐洲最大 AI 初創公司 Mistral 或Perplexity AI 相關事宜展開討論，其中 Eddy Cue …08-27人工智能板塊火熱，AIETF（515070）近一年漲幅超110%，持倉股表現亮眼昨日高層印發“人工智能+”行動意見引爆科技賽道，人工智能AIETF（515070）持倉股中樂鑫科技20CM漲停、中科創達、瑞芯微、科大訊飛。 消息方面，摩根大通認為，鑒于杠桿率和估值仍處于適度水平，料中國股…08-27AI初創Anthropic與作家達成和解，版權爭議風波暫告一段落08-27點擊查看更多 +全站最新
華為Mate XTs官宣：搶在iPhone 17前發布，三折疊新機再升級
蘋果秋季發布會預告：iPhone 17 Air超薄亮相，多款新品亮點搶眼
谷歌研發iOS兼容“快速分享”，安卓iOS文件互傳將更便捷
蘋果iPhone17發布會定檔，iPhone15及16部分機型或面臨停售
馬斯克發起AI訴訟戰：指控蘋果與OpenAI壟斷市場
iPhone17系列即將來襲：蘋果秋季發布會9月10日見真章熱門內容
華為云Tokens服務升級，384超節點助力實現2400TPS高性能算力Rokid Glasses智能眼鏡紐約亮相，全球可穿戴AI領域迎新突破科大訊飛40億定增，加速布局AI教育，劍指3000億藍海市場AI芯片巨頭寒武紀股價飆升，超越茅臺暫成A股“新貴”寒武紀商業帝國全貌探析榮耀端側AI語音技術突破，入選國際頂會，引領智能翻譯新時代
本文鏈接：http://m.www897cc.com/showinfo-45-27035-0.html華為云Tokens服務升級，384超節點助力實現2400TPS高性能算力
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號