階躍星辰公司近期震撼發(fā)布了其傾力打造的開源端到端語(yǔ)音大模型——Step-Audio2mini。這款模型在國(guó)際多項(xiàng)基準(zhǔn)測(cè)試中脫穎而出,刷新了SOTA記錄,將語(yǔ)音理解、音頻推理與生成融為一體,展現(xiàn)了卓越的全方位能力。無論是在音頻理解、語(yǔ)音識(shí)別,還是在跨語(yǔ)種翻譯、情感解析及語(yǔ)音對(duì)話等應(yīng)用場(chǎng)景中,Step-Audio2mini均展現(xiàn)出了非凡的實(shí)力。
尤為Step-Audio2mini在音頻處理領(lǐng)域的多個(gè)核心測(cè)試中,表現(xiàn)遠(yuǎn)超Qwen-Omni、Kimi-Audio等同類開源模型,甚至在多數(shù)任務(wù)上超越了GPT-4o Audio。在通用多模態(tài)音頻理解測(cè)試集MMAU上,它以73.2的高分傲視群雄;在口語(yǔ)對(duì)話能力評(píng)估平臺(tái)URO Bench的基礎(chǔ)與專業(yè)賽道上,Step-Audio2mini同樣奪得了開源端到端語(yǔ)音模型的最高分。在中英互譯任務(wù)中,它在CoVoST2和CVSS評(píng)測(cè)集上的分?jǐn)?shù)分別為39.3和29.1,大幅領(lǐng)先競(jìng)爭(zhēng)對(duì)手。而在語(yǔ)音識(shí)別方面,Step-Audio2mini在多語(yǔ)言和多方言測(cè)試中均排名第一,其中中文測(cè)試集的平均字錯(cuò)誤率為3.19%,英文測(cè)試集的平均詞錯(cuò)誤率為3.50%,性能超出其他開源模型15%以上。
Step-Audio2mini之所以能在眾多模型中脫穎而出,得益于其創(chuàng)新的架構(gòu)設(shè)計(jì)。它摒棄了傳統(tǒng)的ASR+LLM+TTS三級(jí)結(jié)構(gòu),采用了真端到端多模態(tài)架構(gòu),實(shí)現(xiàn)了從原始音頻輸入到語(yǔ)音響應(yīng)輸出的直接轉(zhuǎn)換,不僅架構(gòu)更加簡(jiǎn)潔,時(shí)延也大幅降低。同時(shí),該模型還能有效理解副語(yǔ)言信息和非人聲信號(hào),進(jìn)一步提升了其綜合性能。Step-Audio2mini還首次在端到端語(yǔ)音模型中引入了鏈?zhǔn)剿季S推理(CoT)與強(qiáng)化學(xué)習(xí)的聯(lián)合優(yōu)化技術(shù),使其能夠更精細(xì)地理解、推理情緒、語(yǔ)調(diào)、音樂等副語(yǔ)言和非語(yǔ)音信號(hào),并作出自然回應(yīng)。
Step-Audio2mini的實(shí)際應(yīng)用能力同樣令人印象深刻。它能夠準(zhǔn)確識(shí)別大自然的聲音和精湛的配音,還能實(shí)時(shí)搜索行業(yè)最新資訊,為用戶提供有價(jià)值的信息。同時(shí),該模型還支持控制語(yǔ)速,輕松適應(yīng)不同場(chǎng)景的對(duì)話需求。在一次測(cè)試中,當(dāng)面對(duì)一個(gè)復(fù)雜的哲學(xué)問題時(shí),Step-Audio2mini展現(xiàn)出了強(qiáng)大的邏輯推理能力,將抽象問題轉(zhuǎn)化為極簡(jiǎn)方法論,給出了令人信服的答案。
目前,Step-Audio2mini模型已在GitHub、Hugging Face和ModelScope等平臺(tái)上線,供用戶下載、試用并反饋。感興趣的用戶可以訪問以下鏈接獲取更多信息:
GitHub鏈接:https://github.com/stepfun-ai/Step-Audio2
Hugging Face鏈接:https://huggingface.co/stepfun-ai/Step-Audio-2-mini
ModelScope鏈接:https://www.modelscope.cn/models/stepfun-ai/Step-Audio-2-mini
舉報(bào) 0收藏 0打賞 0評(píng)論 0分享 0 更多>同類資訊科大訊飛灣區(qū)總部及產(chǎn)業(yè)加速中心深圳啟動(dòng),賦能區(qū)域數(shù)字化轉(zhuǎn)型每經(jīng)AI快訊,據(jù)深圳發(fā)布,近日,科大訊飛灣區(qū)總部及深圳產(chǎn)業(yè)加速中心在深圳龍華正式啟動(dòng),邁出在粵港澳大灣區(qū)深化布局的關(guān)鍵一步。產(chǎn)業(yè)加速中心依托科大訊飛核心技術(shù)能力和國(guó)家新一代人工智能開放創(chuàng)新平臺(tái)集聚的開發(fā)者資源…09-01
阿里:AI與消費(fèi)雙輪驅(qū)動(dòng),財(cái)報(bào)超預(yù)期展現(xiàn)強(qiáng)勁增長(zhǎng)力過去四個(gè)季度,我們已經(jīng)在 AI 基礎(chǔ)設(shè)施以及 AI 產(chǎn)品研發(fā)上累計(jì)投入超過 1000 億元”,吳泳銘說,阿里對(duì) AI的投入已開始顯現(xiàn)成果,無論是阿里云在客戶的 AI 需求下恢復(fù)高速增長(zhǎng),還是廣泛的 to C…09-01
2025數(shù)智化轉(zhuǎn)型論壇:AI大模型與AI Agent引領(lǐng)破界反卷新篇章正是在這樣的背景之下,由數(shù)智猿×數(shù)據(jù)猿聯(lián)合主辦,中關(guān)村科學(xué)城公司協(xié)辦,新華社中國(guó)經(jīng)濟(jì)信息社×北京軟件和信息服務(wù)業(yè)協(xié)會(huì)×中國(guó)互聯(lián)網(wǎng)協(xié)會(huì)數(shù)字化轉(zhuǎn)型與發(fā)展工作委員會(huì)×上海大數(shù)據(jù)聯(lián)盟作為支持單位的的“2025第五屆…09-01科大訊飛灣區(qū)總部啟航龍華,深圳產(chǎn)業(yè)加速中心賦能創(chuàng)新生態(tài)產(chǎn)業(yè)加速中心依托科大訊飛核心技術(shù)能力和國(guó)家新一代人工智能開放創(chuàng)新平臺(tái)集聚的開發(fā)者資源,打造“線上+線下”相融合的創(chuàng)新創(chuàng)業(yè)服務(wù)加速平臺(tái),為開發(fā)者、創(chuàng)業(yè)企業(yè)和區(qū)域產(chǎn)業(yè)數(shù)字化轉(zhuǎn)型提供線下賦能,通過創(chuàng)業(yè)孵化、產(chǎn)業(yè)聚…09-01科大訊飛灣區(qū)總部啟動(dòng)深圳加速中心,全方位賦能中小微企業(yè)轉(zhuǎn)型升級(jí)來源:證券時(shí)報(bào)e公司 人民財(cái)訊8月31日電,據(jù)深圳發(fā)布,近日,科大訊飛灣區(qū)總部及深圳產(chǎn)業(yè)加速中心在深圳龍華正式啟動(dòng),邁出在粵港澳大灣區(qū)深化布局的關(guān)鍵一步。產(chǎn)業(yè)加速中心依托科大訊飛核心技術(shù)能力和國(guó)家新一代人工智…09-01
科大訊飛再傳捷報(bào):中標(biāo)安徽稅務(wù)智能咨詢子系統(tǒng)運(yùn)行維護(hù)項(xiàng)目證券之星消息,根據(jù)天眼查APP-財(cái)產(chǎn)線索數(shù)據(jù)整理,根據(jù)國(guó)家稅務(wù)總局安徽省稅務(wù)局月8日28發(fā)布的《國(guó)家稅務(wù)總局安徽省稅務(wù)局安徽稅務(wù)2025年12366納稅繳費(fèi)服務(wù)熱線系統(tǒng)(智能咨詢子系統(tǒng))運(yùn)行維護(hù)項(xiàng)目(二次)中…09-01
科大訊飛灣區(qū)總部深圳龍華啟航,生態(tài)企業(yè)集群入駐共促AI產(chǎn)業(yè)發(fā)展來源:IT之家 【科大訊飛灣區(qū)總部落戶深圳,與龍華區(qū)共建產(chǎn)業(yè)加速中心整合上下游產(chǎn)業(yè)鏈資源】科大訊飛灣區(qū)總部及深圳產(chǎn)業(yè)加速中心項(xiàng)目在深圳龍華正式啟動(dòng),已吸引15家生態(tài)企業(yè)入駐,8家簽約。中心將整合上下游資源,助…09-01
微軟AI自研大模型亮相,語(yǔ)音模型定制化程度高,CEO談與OpenAI關(guān)系MustafaSuleyman:我認(rèn)為世界上最優(yōu)秀的人才,想要做的是那些真正有影響力的工作,能帶來改變、能做出優(yōu)秀產(chǎn)品,同時(shí)解決如何高效實(shí)現(xiàn)目標(biāo)的技術(shù)挑戰(zhàn)。Mustafa Suleyman:是的,我們已…08-31微信新規(guī):AI生成內(nèi)容將加顯式隱式標(biāo)識(shí),提升信息透明度08-31
區(qū)域算力網(wǎng)研究報(bào)告貴陽(yáng)首發(fā):探索構(gòu)建全國(guó)算力“一張網(wǎng)”新路徑8月29日,由國(guó)家信息中心和華為公司牽頭,聯(lián)合政產(chǎn)學(xué)研30余家相關(guān)機(jī)構(gòu)共同編寫的《區(qū)域算力網(wǎng):高速互聯(lián)篇研究報(bào)告》(簡(jiǎn)稱《研究報(bào)告》)在貴陽(yáng)發(fā)布。 據(jù)悉,2024年,國(guó)家信息中心與華為等單位,圍繞城市算力專…08-31
中國(guó)移動(dòng)2025數(shù)博會(huì)展全棧AI實(shí)力,筑基算力網(wǎng)絡(luò)引領(lǐng)數(shù)智化新篇章能力中臺(tái)作為中國(guó)移動(dòng)“兩個(gè)新型”“BASIC6”“AI+”三大計(jì)劃的重要組成部分,匯聚涵蓋了AI、大數(shù)據(jù)、物聯(lián)網(wǎng)等領(lǐng)域的1300余項(xiàng)內(nèi)外部?jī)?yōu)質(zhì)數(shù)智能力,為企業(yè)客戶提供數(shù)據(jù)技術(shù)支持、模型訓(xùn)練、智能應(yīng)用開發(fā)等一…08-31
華為AI SSD新品亮相,全球存儲(chǔ)產(chǎn)業(yè)HBM、NAND閃存、CXL技術(shù)王牌競(jìng)相角逐2025年8月27日,華為存儲(chǔ)又結(jié)新果,華為在數(shù)據(jù)存儲(chǔ)AI SSD新品發(fā)布會(huì)上正式推出三款針對(duì)AI存儲(chǔ)的新產(chǎn)品。 在AI大模型訓(xùn)練、多模態(tài)數(shù)據(jù)處理需求爆發(fā)的當(dāng)下,除華為之外,全球存儲(chǔ)領(lǐng)域的更多玩家,爭(zhēng)相競(jìng)逐H…08-31馬斯克xAI公司狀告前工程師,指控其盜取AI機(jī)密投奔OpenAI08-30
百度智能云升級(jí)AI平臺(tái),引領(lǐng)企業(yè)步入智能經(jīng)濟(jì)新時(shí)代從十年前我們開始探索AI云的全棧布局,到今天見證整個(gè)AI產(chǎn)業(yè)生態(tài)的全面爆發(fā),我們很高興的看到,越來越多的同行開始加大智能投入,豐富了從底層基礎(chǔ)設(shè)施、到大模型以及開發(fā)平臺(tái)的選擇;也看到,越來越多的客戶和伙伴也…08-30
AI云賽道領(lǐng)航,百度智能云何以成為企業(yè)轉(zhuǎn)型升級(jí)首選伙伴?從2015年正式對(duì)外提供云服務(wù),百度智能云明確了“三位一體”人工智能(AI)、大數(shù)據(jù)(Big Data)與云計(jì)算(Cloud Computing)的發(fā)展策略,到2020年確立“云智一體”理念,再到如今,百…08-30點(diǎn)擊查看更多 +全站最新
汽車行業(yè)下半場(chǎng):智駕時(shí)代,大咖共探換擋新機(jī)遇
格力電器二季度營(yíng)收下滑,多元化之路成破局關(guān)鍵
日資房產(chǎn)市場(chǎng)升溫,外資涌入創(chuàng)新高,中國(guó)樓市對(duì)比顯冷清
萬(wàn)事利上半年?duì)I收增長(zhǎng)8.29%,AI技術(shù)引領(lǐng)絲綢產(chǎn)業(yè)轉(zhuǎn)型升級(jí)
德力佳傳動(dòng)上市路:客戶采銷數(shù)據(jù)差異大,研發(fā)占比低卻毛利率高,關(guān)聯(lián)交易頻現(xiàn)
牛散章建平被誤認(rèn),緊急澄清:未買寒武紀(jì)股票,網(wǎng)傳照片系他人熱門內(nèi)容
阿里:AI與消費(fèi)雙輪驅(qū)動(dòng),財(cái)報(bào)超預(yù)期展現(xiàn)強(qiáng)勁增長(zhǎng)力
2025數(shù)智化轉(zhuǎn)型論壇:AI大模型與AI Agent引領(lǐng)破界反卷新篇章
科大訊飛再傳捷報(bào):中標(biāo)安徽稅務(wù)智能咨詢子系統(tǒng)運(yùn)行維護(hù)項(xiàng)目
科大訊飛灣區(qū)總部深圳龍華啟航,生態(tài)企業(yè)集群入駐共促AI產(chǎn)業(yè)發(fā)展
微軟AI自研大模型亮相,語(yǔ)音模型定制化程度高,CEO談與OpenAI關(guān)系
區(qū)域算力網(wǎng)研究報(bào)告貴陽(yáng)首發(fā):探索構(gòu)建全國(guó)算力“一張網(wǎng)”新路徑
本文鏈接:http://m.www897cc.com/showinfo-45-27224-0.html階躍星辰推出Step-Audio2mini,端到端語(yǔ)音大模型刷新多項(xiàng)國(guó)際基準(zhǔn)測(cè)試成績(jī)
聲明:本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí),若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系,我們將在第一時(shí)間刪除處理。郵件:2376512515@qq.com