Akamai宣布推出一款名為Akamai Cloud Inference的戰略級AI推理解決方案。該方案基于其全球分布式云平臺打造，與傳統超大規模云架構相比，其吞吐量提升3倍，延遲降低60%，成本減少86%。
Akamai云技術部門首席運營官兼總經理Adam Karon表示，訓練類似于繪制地圖，需要集中式超算中心；而推理則更像實時導航，必須在靠近用戶的邊緣完成。據Gartner數據，2025年約75%的數據將產生于傳統云區域之外，傳統云架構在響應速度和數據傳輸成本方面已顯不足。
Akamai Cloud Inference依托覆蓋130個國家、4200多個節點的分布式網絡，構建了獨特的“云-邊協同”架構。通過與NVIDIA、VAST Data等生態伙伴合作，該方案整合了GPU加速計算、向量數據庫實時檢索以及WebAssembly邊緣執行的完整技術棧。
該解決方案創新性地結合了CPU、GPU和定制化ASIC VPU，根據不同推理場景動態分配資源。同時，Akamai與NVIDIA AI Enterprise生態系統深度整合，利用Triton、TAO Toolkit、TensorRT和NVFlare優化NVIDIA GPU上的AI推理性能。
此外，Akamai通過VAST Data實時數據訪問、可擴展對象存儲及Aiven/Milvus向量數據庫技術，構建了支持檢索增強生成（RAG）的智能數據架構，實現了微調模型的安全存儲與全球范圍內的低延遲AI推理。
Akamai還通過Linode Kubernetes Engine企業版與新發布的Akamai App平臺，集成了KServe、Kubeflow等開源工具，構建了支持PB級性能自動擴展的容器化AI推理平臺，并優化了混合多云部署和成本控制。
據悉，Akamai與Fermyon等Wasm供應商合作，將WebAssembly技術集成到無服務器架構中，使開發者能夠在邊緣端執行輕量化LLM推理，為延遲敏感型應用提供支持。

本文鏈接：http://m.www897cc.com/showinfo-27-145221-0.htmlAkamai推出AI推理解決方案，性能提升顯著

聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇： TrendForce：國際形勢變化將推動2Q25存儲器合約價漲幅擴大

下一篇： 韓國AI初創公司RLWRLD獲1500萬美元融資