使用LLM插件從命令行訪問Llama 2
最近的一個大新聞是Meta AI推出了新的開源授權的大型語言模型Llama 2。這是一項非常重要的進展：Llama 2可免費用于研究和商業用途。(幾小時前，swyy發現它已從LLaMA 2更名為Lla
微軟（Microsoft）近日發布了兩個自研芯片，名為Maia和Cobalt。這兩款芯片各有不同的應用場景，但都將導入微軟自家數據中心，以支持人工智能（AI）和通用運算工作負載。
在微軟的Ignite 2023大會上，公司首次公開了這兩款自研芯片。Maia是一款專為大型語言模型（LLM）在云端訓練和推斷設計的AI加速芯片，而Cobalt是基于ARM架構的云端原生CPU，主要用于支持通用運算工作負載。
據微軟介紹，Maia芯片是為云端大型語言模型的訓練和推斷設計的，能夠提供更高效的人工智能運算能力。這款芯片將在2024年初導入微軟的數據中心，并支持Copilot或Azure OpenAI等服務。
與此同時，Cobalt芯片是基于ARM架構開發的云端原生CPU，旨在優化數據中心的效能功耗比，幫助微軟實現其永續發展目標。這款芯片支持通用運算工作負載，將為微軟的數據中心帶來更高效的能源利用。
微軟表示，這兩款芯片都是為了更好地滿足客戶需求而設計的。隨著數據中心規模的不斷擴大，自研芯片策略有望降低采購成本，同時提高服務器的能源效率。此外，隨著云端服務市場競爭的加劇，提供更多種類的服務器CPU是必要的，以實現多元化的云端運算服務。
DIGITIMES Research的數據顯示，大型數據中心業者越來越依賴自研服務器CPU。這一趨勢受到多種因素的影響，包括采購量隨數據中心規模擴大而增加、自研策略降低采購成本、自研服務器CPU更貼近業者機架高能源效率需求、云端服務市場競爭加劇以及地緣政治因素等。
除此之外，ARM在上游矽智財端和相關軟硬件生態系愈趨完善，這也是未來ARM服務器CPU需求成長的關鍵。隨著ARM架構的不斷發展，基于ARM架構的自研服務器CPU將在未來發揮更加重要的作用。
微軟發布的兩款自研芯片Maia和Cobalt是其持續推動服務器新設計的一部分。這些芯片將幫助微軟提高數據中心的能源效率和性能表現，同時降低采購成本和依賴風險。這一舉措也反映了大型數據中心業者對于自研服務器CPU的日益重視和對于高效能、低功耗計算的追求。
本文鏈接：http://m.www897cc.com/showinfo-27-31497-0.html微軟發布自研芯片Maia和Cobalt，推動服務器新設計
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號