當(dāng)前位置：首頁 > 元宇宙 > AI

Flash Attention作者播客談AI未來：英偉達(dá)GPU主導(dǎo)或三年內(nèi)生變，推理成本有望再降10倍

來源：責(zé)編：時間：2025-09-30 10:27:53 54觀看

導(dǎo)讀在最新一期科技播客《Unsupervised Learning》中，F(xiàn)lash Attention算法發(fā)明者、普林斯頓大學(xué)教授Tri Dao就AI硬件生態(tài)變革、模型架構(gòu)演進(jìn)等核心議題展開深度探討。這位同時擔(dān)任TogetherAI首席科學(xué)家的研究者指出，未來三

在最新一期科技播客《Unsupervised Learning》中，F(xiàn)lash Attention算法發(fā)明者、普林斯頓大學(xué)教授Tri Dao就AI硬件生態(tài)變革、模型架構(gòu)演進(jìn)等核心議題展開深度探討。這位同時擔(dān)任TogetherAI首席科學(xué)家的研究者指出，未來三年內(nèi)英偉達(dá)在AI加速卡市場的絕對主導(dǎo)地位將面臨根本性挑戰(zhàn)，專用芯片的多元化發(fā)展將成為主流趨勢。

針對硬件市場的競爭格局，Tri Dao觀察到隨著Transformer、MoE（專家混合模型）等架構(gòu)的標(biāo)準(zhǔn)化，芯片設(shè)計(jì)正從通用型向?qū)Ｓ没D(zhuǎn)型。AMD憑借大容量內(nèi)存優(yōu)勢已在推理市場占據(jù)先機(jī)，而訓(xùn)練端受制于網(wǎng)絡(luò)通信瓶頸仍由英偉達(dá)主導(dǎo)。但他強(qiáng)調(diào)，當(dāng)工作負(fù)載逐漸聚焦特定架構(gòu)時，新入局者通過精準(zhǔn)定位低延遲智能體系統(tǒng)、高吞吐批處理等細(xì)分場景，完全可能打破現(xiàn)有格局。

在模型架構(gòu)創(chuàng)新層面，MoE架構(gòu)的稀疏計(jì)算特性正在重塑行業(yè)規(guī)則。Tri Dao以DeepSeek提出的multi-head latent attention機(jī)制為例，說明通過潛在投影壓縮KV緩存可顯著降低內(nèi)存占用。這種技術(shù)演進(jìn)使得在128個專家單元中僅激活4個的極端稀疏模型成為可能，相比早期Mistral的8選2模式，計(jì)算效率提升達(dá)8倍。與此同時，狀態(tài)空間模型（如Mamba）通過歷史狀態(tài)壓縮技術(shù)，在大批量推理場景中展現(xiàn)出獨(dú)特優(yōu)勢。

推理成本三年百倍下降的奇跡背后，是多重技術(shù)突破的協(xié)同效應(yīng)。模型量化技術(shù)將參數(shù)精度從16位壓縮至4位，在幾乎不損失精度的情況下將模型體積縮減75%。Flash Attention通過重構(gòu)內(nèi)存訪問模式，使注意力計(jì)算效率提升3-5倍。硬件與算法的協(xié)同設(shè)計(jì)更催生出新型優(yōu)化范式，例如針對MoE架構(gòu)的分布式專家部署方案，有效解決了跨芯片通信瓶頸。

對于未來技術(shù)演進(jìn)方向，Tri Dao預(yù)測將出現(xiàn)三大核心工作負(fù)載：實(shí)時交互型（如代碼輔助）、極低延遲型（如智能體決策）、高吞吐批處理型（如合成數(shù)據(jù)生成）。這種分化促使硬件供應(yīng)商采取差異化策略，某些廠商專注將延遲壓縮至2毫秒以內(nèi)，另一些則通過集群優(yōu)化實(shí)現(xiàn)每秒萬級請求處理。TogetherAI采用的"艦隊(duì)級"動態(tài)資源分配系統(tǒng)，已能根據(jù)實(shí)時負(fù)載自動切換工作模式，使批量API成本降低50%。

在自動化編程領(lǐng)域，AI與人類的協(xié)作模式正在發(fā)生質(zhì)變。Tri Dao團(tuán)隊(duì)通過Claude Code實(shí)現(xiàn)的Triton內(nèi)核生成，使開發(fā)效率提升1.5倍。更值得關(guān)注的是o3模型展現(xiàn)出的架構(gòu)設(shè)計(jì)能力，它能準(zhǔn)確指出函數(shù)優(yōu)化的關(guān)鍵路徑。這種代理式AI的發(fā)展，預(yù)示著未來開發(fā)者將更多聚焦于高層設(shè)計(jì)，而將具體實(shí)現(xiàn)交給智能協(xié)作系統(tǒng)。

關(guān)于通用人工智能（AGI）的實(shí)現(xiàn)路徑，Tri Dao認(rèn)為現(xiàn)有Transformer架構(gòu)已具備核心要素，但架構(gòu)創(chuàng)新可能將成本降低10倍。他特別強(qiáng)調(diào)"推理優(yōu)先"的設(shè)計(jì)理念，指出未來架構(gòu)需在每分錢推理效率（inference per flop）和每浮點(diǎn)運(yùn)算產(chǎn)出（FLOPs per dollar）兩個維度持續(xù)突破。在機(jī)器人領(lǐng)域，多模態(tài)世界模型與實(shí)時控制系統(tǒng)的融合，正在解決多時間尺度決策的行業(yè)難題。

對于開源與閉源模型的競爭，Tri Dao預(yù)測兩者質(zhì)量差距將在年內(nèi)顯著縮小。隨著強(qiáng)化學(xué)習(xí)工具鏈的成熟，開源社區(qū)在模型微調(diào)方面的效率優(yōu)勢將愈發(fā)明顯。而在數(shù)據(jù)層面，合成數(shù)據(jù)生成技術(shù)正在創(chuàng)造新的價值增長點(diǎn)，某些場景下模型生成的數(shù)據(jù)質(zhì)量已接近人工標(biāo)注水平。

在學(xué)術(shù)與產(chǎn)業(yè)的平衡方面，Tri Dao的雙軌制實(shí)踐提供了獨(dú)特范本。他在普林斯頓的研究團(tuán)隊(duì)專注于2-3年的前瞻性技術(shù)，如機(jī)器人多分辨率控制系統(tǒng)；而TogetherAI的工程團(tuán)隊(duì)則聚焦于月度級別的產(chǎn)品迭代。這種探索與開發(fā)的結(jié)合模式，既保證了基礎(chǔ)研究的自由度，又維持了商業(yè)落地的敏捷性。

更多>同類資訊智啟新章：AI時代企業(yè)技術(shù)變革五策，構(gòu)建持續(xù)競爭力體系人工智能（AI）正加速從試點(diǎn)走向企業(yè)級部署，生成式AI的突破推動了組織在技術(shù)架構(gòu)、運(yùn)營流程和人才能力上的系統(tǒng)性變革。本文將結(jié)合貝恩的實(shí)踐經(jīng)驗(yàn)，深入剖析企業(yè)在AI時代所需重點(diǎn)推進(jìn)的五項(xiàng)核心舉措，助力構(gòu)建具備持…09-29螞蟻百寶箱與友盟攜手，為開發(fā)者鋪就智能體時代“一站式”便捷開發(fā)之路此外，在教育領(lǐng)域，友盟和螞蟻百寶箱共同為國民級家校協(xié)同教育工具“班級小管家”注入 AI 動能，基于螞蟻百寶箱智能體平臺能力及友盟平臺數(shù)據(jù)產(chǎn)品能力，服務(wù)了師生、家長在教育各環(huán)節(jié)家校協(xié)同場景，便利學(xué)生在課堂練習(xí)…09-29GPT-5助力量子計(jì)算研究，大牛Scott盛贊：半小時內(nèi)給出關(guān)鍵證明思路換句話說，是否存在一種方法，使得如果答案為“是”，Arthur可以100%接受這個答案，而不是只有2/3的概率？但當(dāng)Scott把問題拋給GPT-5后，5分鐘后它就自信滿滿地給出了一個答案，不過Scott一…09-29浪潮AI服務(wù)器雙管齊下：10ms級推理+1元百萬Token，賦能智能體規(guī)模化落地今年的人工智能計(jì)算大會上，浪潮信息發(fā)布了超擴(kuò)展AI服務(wù)器元腦HC1000，把AI推理成本狠狠地打了下來。未來，其將進(jìn)一步針對核心算法算子進(jìn)行硬件化、電路化設(shè)計(jì)，實(shí)現(xiàn)性能的數(shù)量級提升，從而有效應(yīng)對未來Tok…09-29光伏“老將”能輝科技：AI賦能提效機(jī)器人拓路光伏儲能筑基促增長09-29從瓶蓋墊片到原漿直送：青啤以全鏈匠心與科技賦能，重構(gòu)品質(zhì)消費(fèi)新體驗(yàn)09-29余承東宣布：鴻蒙5終端設(shè)備達(dá)2000萬華為常務(wù)董事、終端BG董事長余承東近日通過視頻向用戶送上節(jié)日祝福，并透露鴻蒙5系統(tǒng)終端設(shè)備裝機(jī)量已突破2000萬臺。這一數(shù)據(jù)較此前公布的1700萬臺實(shí)現(xiàn)快速增長，標(biāo)志著鴻蒙生態(tài)建設(shè)邁入新階段。09-29華為盤古718B模型如何突圍？從數(shù)據(jù)質(zhì)量到Agent能力的系統(tǒng)化創(chuàng)新09-29華為盤古718B模型脫穎而出：數(shù)據(jù)質(zhì)量與技術(shù)創(chuàng)新雙輪驅(qū)動09-29象嶼集團(tuán)攜手釘釘，借AI之力開啟數(shù)智化新篇，3萬員工共赴轉(zhuǎn)型新程象嶼集團(tuán)此次與釘釘合作，不僅是AI技術(shù)平臺的引入，更是雙方對未來發(fā)展方向的高度共識。值得一提的是，象嶼集團(tuán)此次全面引入釘釘One、DingTalk　A1、AI聽記、AI搜問、AI表格等釘釘AI新品，聚焦用…09-29云天勵飛加入OISA生態(tài)，以“算力積木”助力國產(chǎn)AI算力突破MoE大模型瓶頸憑借在 AI 推理芯片與算力架構(gòu)的長期積累，云天勵飛成為 OISA 生態(tài)的重要一員。未來，云天勵飛將繼續(xù)秉持“AI時代的加速器”愿景，持續(xù)迭代芯片技術(shù)與架構(gòu)創(chuàng)新，攜手 OISA 生態(tài)伙伴，共同推動智能算…09-29四川資源集團(tuán)攜手華為共繪智慧礦山藍(lán)圖探索數(shù)智化賦能新路徑封面新聞記者付文超9月29日，記者獲悉，四川省自然資源投資集團(tuán)有限責(zé)任公司（以下簡稱“四川資源集團(tuán)”）與華為技術(shù)有限公司（以下簡稱“華為”）簽署框架合作協(xié)議。根據(jù)協(xié)議，雙方將在智慧礦山規(guī)劃和建設(shè)、人工智…09-29Flash Attention作者Tri Dao：英偉達(dá)GPU主導(dǎo)地位或三年內(nèi)瓦解，AI硬件將迎多元生態(tài)他們設(shè)計(jì)了非常好的芯片，也有非常好的軟件支持，這讓我能夠做很多有意思的事情，而這正是我追求的：能不能做出有意思的東西。舉例我做的Mamba，思路是讓模型把歷史壓縮成更小的狀態(tài)向量，而不是保存完整的KV c…09-29?長智具身智能科技公司在海南成立智元機(jī)器人長飛光纖等攜手布局?09-29AMD與NVIDIA下一代AI GPU競速：設(shè)計(jì)迭代升級，技術(shù)差距或縮小09-29點(diǎn)擊查看更多 +全站最新