對(duì)標(biāo)蘋果的靈動(dòng)島 華為帶來實(shí)況窗功能
繼蘋果的靈動(dòng)島之后，華為也在今天正式推出了“實(shí)況窗”功能。據(jù)今天鴻蒙OS 4.0的現(xiàn)場演示顯示，華為的實(shí)況窗可以更高效的展現(xiàn)出實(shí)時(shí)通知，比如鎖屏上就能看到外賣、打車、銀行
國產(chǎn)大模型，再次迎來新玩家！
XVERSE-13B，開源即免費(fèi)商用。
來自前騰訊副總裁、騰訊AI lab創(chuàng)始人姚星創(chuàng)立的明星獨(dú)角獸元象，公司成立一年即完成1.2億美元融資。
此次開源的大模型，它支持40多種語言、8192上下文長度。在多項(xiàng)中英文測評(píng)中，性能超過了同尺寸（130億參數(shù)）的LIama2、Baichuan等。
目前，哈爾濱工業(yè)大學(xué)已經(jīng)率先用上。
據(jù)介紹，XVERSE-13B大模型主要有這幾個(gè)方面的特點(diǎn)。
模型架構(gòu)方面，它是基于標(biāo)準(zhǔn)Transformer架構(gòu)（Decoder-only），支持8K上下文長度，據(jù)稱這也是目前同尺寸標(biāo)準(zhǔn)模型中最長。這樣一來，可滿足更多輪對(duì)話，減少遺忘現(xiàn)象，以及輸入更多內(nèi)容完成復(fù)雜任務(wù)。
訓(xùn)練數(shù)據(jù)上，構(gòu)建了1.4萬億tokens的數(shù)據(jù)集，包含中、英、俄、西等40多種語言。
而為了充分利用訓(xùn)練數(shù)據(jù)，他們?cè)?strong>分詞策略上，基于BPE（Byte-Pair Encoding）算法，使用上百 GB 語料訓(xùn)練了一個(gè)詞表大小為 100,278 的分詞器。
這樣一來，能夠同時(shí)支持多語言，而無需額外擴(kuò)展詞表。
此外，還在訓(xùn)練框架上進(jìn)行了算子、通信、并行策略及調(diào)度等方面的優(yōu)化，包括高效算子、顯存優(yōu)化、并行調(diào)度策略、數(shù)據(jù)-計(jì)算-通信重疊、平臺(tái)和框架協(xié)同等自研技術(shù)，使得千卡集群上的峰值算力利用率達(dá)到 58.5%，據(jù)介紹位居業(yè)界前列。
作為通用大模型，它支持文本生成、自動(dòng)化寫作、數(shù)據(jù)分析、知識(shí)問答、多語言翻譯、個(gè)性化交互、人物角色扮演、專業(yè)小助手等功能。
具體到各項(xiàng)能力測評(píng)上，他們選取了 MMLU（英文）、 C-Eval（中文）、AGIEval（中英） 、GAOKAO-Bench（中英）、GAOKAO-English（英文）等在內(nèi)的評(píng)測集。
比如在MMLU測評(píng)中，其綜合評(píng)分達(dá)到55.1分，在多個(gè)維度超過了同參數(shù)規(guī)模的主流模型。
（MMLU 由加州大學(xué)伯克利分校等高校共同打造，集合了科學(xué)、工程、數(shù)學(xué)、人文、社會(huì)科學(xué)等領(lǐng)域的 57 個(gè)科目，主要目標(biāo)是對(duì)模型的英文跨學(xué)科專業(yè)能力進(jìn)行深入測評(píng)。其內(nèi)容涵蓋從初級(jí)水平到高級(jí)專業(yè)水平）
還有在C-Eval、AGIEval和GAOKAO-Bench等中文測評(píng)中，分別以54.7、41.4以及53.9分超越了其他模型。
目前，XVERSE-13B代碼采用 Apache-2.0 協(xié)議，向?qū)W術(shù)研究完全開源，企業(yè)只需簡單登記，即可免費(fèi)商用。
哈工大已經(jīng)率先使用大模型推進(jìn)相關(guān)研究工作。哈工大計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院張偉男教授表示：
開源是互聯(lián)網(wǎng)時(shí)代主流模式，不僅能貢獻(xiàn)社區(qū)，推動(dòng)技術(shù)持續(xù)創(chuàng)新，還能利用協(xié)同解決算法透明性、穩(wěn)定性、公眾信任度等共性問題。
隨著XVERSE-13B的發(fā)布，國產(chǎn)大模型迎來了新玩家：
元象XVERSE，2021年3月成立，專注于AI與元宇宙技術(shù)服務(wù)。
創(chuàng)始團(tuán)隊(duì)來自騰訊游戲、Adobe、微軟、IBM、麥肯錫等公司。創(chuàng)始人是前騰訊副總裁姚星，他曾親手創(chuàng)立了騰訊AI lab以及機(jī)器人實(shí)驗(yàn)室Robotics X，并兼管騰訊技術(shù)工程事業(yè)群（TEG）多個(gè)技術(shù)部門。
他也是騰訊在受AlphaGo震動(dòng)決定戰(zhàn)略布局AI時(shí)的一號(hào)位負(fù)責(zé)人，代表騰訊全球挖人組隊(duì)，也代表騰訊喊出了口號(hào)：AI in All。在此期間曾主導(dǎo)推出了絕藝、絕悟、云深智藥等行業(yè)代表性產(chǎn)品和應(yīng)用，張潼張正友都曾向他匯報(bào)。
2022年3月，元象完成A與A+輪融資1.2億美元，投資機(jī)構(gòu)包括騰訊、高榕資本、五源資本、高瓴創(chuàng)投、紅杉中國、淡馬錫和CPE源峰等。
在3D和AI技術(shù)領(lǐng)域，已自主研發(fā)出行業(yè)領(lǐng)先的“端云協(xié)同” 3D互動(dòng)技術(shù)，主打零門檻、一站式、高品質(zhì)的元宇宙體驗(yàn)。
目前客戶包括澳門大三巴、騰訊音樂、央視、一汽大眾、阿迪達(dá)斯、郵儲(chǔ)銀行等企業(yè)。
GitHub鏈接：
https://github.com/xverse-ai/XVERSE-13B
參考鏈接：
https://huggingface.co/xverse/XVERSE-13B
本文鏈接：http://m.www897cc.com/showinfo-26-5181-0.html國產(chǎn)130億參數(shù)大模型免費(fèi)商用！性能超Llama2-13B，支持8k上下文，哈工大已用上
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com
上一篇： SpringBoot3基礎(chǔ)用法
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請(qǐng)聯(lián)系：2376512515@qq.com 津ICP備18001702號(hào)
津公網(wǎng)安備 12010102000574號(hào)