快科技11月6日消息,在AI算力需求爆發的背景下,高性能內存HBM的價格正持續飆升,SK海力士確認,明年向NVIDIA供應的HBM4單價約為560美元。
這一價格不僅高于此前業內預期的約500美元,而且比目前供應HBM3E的約370美元價格高出50%以上。
面對高端HBM價格的暴漲,以及中國企業遭受的出口管制,華為剛開源的技術或許可以減輕對這種產品的依賴。
日前華為宣布了一項針對AI推理加速的關鍵技術UCM推理記憶數據管理,并正式將其開源。
UCM的關鍵創新在于,它可以根據數據的“記憶熱度”,在不同的存儲介質中進行分級緩存,比如HBM存儲“實時記憶數據”,DRAM中存儲“短期記憶數據”,而SSD則存儲“長期記憶數據與外部知識”。

其核心優勢在于分級管理推理過程中產生的KV Cache記憶數據,充分利用不同存儲介質的特性,從而提高HBM的利用率并平衡整體成本。
而開源的關鍵意義,在于能讓更多開發者和企業通過記憶數據分級管理,降低對高端HBM的依賴。
華為透露,基于UCM,可實現首Token時延高降低90%,系統吞吐大提升22倍,并達到10倍級上下文窗口擴展。
當然,UCM不是為了取代,也無法取代HBM,而更像是一種“系統補短板”,把HBM的優勢發揮在更合適的地方,實現降本增效。

本文鏈接:http://m.www897cc.com/showinfo-22-187078-0.htmlHBM價格暴漲:華為開源關鍵技術!
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com