Mate60手機(jī)殼曝光 致敬自己的經(jīng)典設(shè)計(jì)
8月3日消息，今天下午博主數(shù)碼閑聊站帶來了華為Mate60的第三方手機(jī)殼圖，可以讓我們?cè)谡鏅C(jī)發(fā)布之前看看這款華為全新旗艦的大致輪廓。從曝光的圖片看，Mate 60背后攝像頭面積依然
行至 2024, 云端大模型還未分出勝負(fù)，端側(cè)模型早已硝煙四起。
去年上半年，谷歌以可在移動(dòng)設(shè)備上離線運(yùn)行的 PaLM2 輕量級(jí)選手“壁虎”打響了端側(cè)模型第一槍，到了年底，端側(cè)模型時(shí)代的大幕就被緩緩拉起。
法國(guó)創(chuàng)企 Mistral AI 率先發(fā)布 Mixtral 8x7B 模型，微軟更是半年時(shí)間加速跑，從 27 億參數(shù)的 Phi-2 到 SLM (小語言模型) Phi-3 系列，以“便宜得多，但響應(yīng)能力接近比它大 10 倍的模型”強(qiáng)調(diào)高性價(jià)比。
Google 攜帶 Gemma 模型向 Meta 的 Llama-2 大模型發(fā)起挑戰(zhàn)，蘋果也以“小模型”家族宣告離“讓人工智能在蘋果設(shè)備上本地運(yùn)行”目標(biāo)更近一步。
而大洋彼岸的另一側(cè)，在中國(guó)上海張江，也有這么一家通用大模型廠商，駛上了端側(cè)模型的快車道，以類腦分區(qū)激活的工作機(jī)制、改進(jìn)反向傳播算法逐步實(shí)現(xiàn)“同步學(xué)習(xí)”，并在走通多模態(tài)上率先“卷”入。
這，就是巖芯數(shù)智 CEO 劉凡平帶隊(duì)的 RockAI。
Yan 1.2 跑通樹莓派，“為設(shè)備而生”水到渠成
事實(shí)上，今年 1 月，RockAI 發(fā)布的國(guó)內(nèi)首個(gè)非 Attention 機(jī)制的通用自然語言大模型 ——Yan1.0 模型，就標(biāo)志走向設(shè)備端的第一步。
當(dāng)時(shí)這一模型 100% 支持私有化部署應(yīng)用，不經(jīng)裁剪和壓縮即可在主流消費(fèi)級(jí) CPU 等端側(cè)設(shè)備上無損運(yùn)行，在研究人員現(xiàn)場(chǎng)對(duì) Yan 1.0 模型在 Mac 筆記本上的運(yùn)行推理展示中，劉凡平也畫出了接下來將在更加便攜的設(shè)備或終端中進(jìn)行無損部署的藍(lán)圖。
而現(xiàn)在，隨著 Yan 1.0 邁入 1.2 階段，“在樹莓派上率先跑通”把其在更低端設(shè)備的無損適配從預(yù)期變?yōu)榱爽F(xiàn)實(shí)。
圖為 Yan 架構(gòu)模型在樹莓派上運(yùn)行
樹莓派系列作為全球最為知名的袖珍型小巧卻又性能強(qiáng)大的微型電腦，可廣泛應(yīng)用于物聯(lián)網(wǎng)、工業(yè)自動(dòng)化、智慧農(nóng)業(yè)、新能源、智能家居等場(chǎng)景及設(shè)備，譬如門禁、機(jī)器人等終端，但它雖具備所有 PC 的基本功能，卻是算力最低的設(shè)備代表。
同時(shí)，樹莓派大部分情況沒有聯(lián)網(wǎng)，這就意味著，跑通樹莓派，等同于打開了低算力設(shè)備端的大門以及不聯(lián)網(wǎng)的多場(chǎng)景應(yīng)用。
不過，機(jī)遇之大，挑戰(zhàn)亦不小，不少大模型玩家都屈身于“有損壓縮”。
就連 4 月網(wǎng)友發(fā)現(xiàn)能在樹莓派 5 以每秒 1.89 個(gè) token 的速度運(yùn)行，支持 8K 上下文窗口的 Llama3 8B , 也是采用把模型量化裁剪后壓到極致的方式。
而這就如同把平鋪的紙揉小后放入，會(huì)導(dǎo)致紙張有褶皺般，讓多模態(tài)下的性能損失無法恢復(fù)到原有狀態(tài)去進(jìn)行模型訓(xùn)練，同時(shí)也伴隨著卡住不動(dòng)、死機(jī)等不確定情況發(fā)生。
此時(shí)，原生無損放入的重要性就凸顯，而這正是 RockAI 基于底層技術(shù)做“破壞式”創(chuàng)新的優(yōu)勢(shì)所在。
不同于傳統(tǒng) Transformer 模型自帶算力消耗和幻覺等問題，Yan 架構(gòu)為低算力設(shè)備運(yùn)行而生，1.0 版就以百億級(jí)參數(shù)媲美千億參數(shù)大模型的性能效果，以記憶能力提升 3 倍、訓(xùn)練效率提升 7 倍的同時(shí)，實(shí)現(xiàn)推理吞吐量的 5 倍提升，實(shí)現(xiàn)云端運(yùn)行的高性價(jià)比。
圖為 Yan 架構(gòu)模型的關(guān)鍵模塊 MCSD Block, 引自 Yan 架構(gòu)論文:《MCSD: An Efficient Language Model with Diverse Fusion》
對(duì)比數(shù)據(jù)表明，在單張 4090 24G 顯卡上，當(dāng)模型輸出 token 的長(zhǎng)度超出 2600 時(shí)，Transformer 的模型會(huì)出現(xiàn)顯存不足，而 Yan 模型的顯存使用始終穩(wěn)定在 14G 左右，理論上能夠?qū)崿F(xiàn)無限長(zhǎng)度的推理。
再到讓通用大模型去兼容更多的設(shè)備，實(shí)現(xiàn)更多個(gè)性化的設(shè)備端應(yīng)用，則讓 RockAI 在同模型架構(gòu)下，可水到渠成地“為設(shè)備而生”。
那么，對(duì)于樹莓派這一門檻，RockAI 是如何破局的呢? 答案就在技術(shù)創(chuàng)新上。
自創(chuàng)業(yè)之初，劉凡平就一直在思考“大模型動(dòng)輒上萬億的 token 訓(xùn)練是否真的必要”，以人類大腦幾十億的訓(xùn)練量來看，他判斷，數(shù)據(jù)、算力并不是最終的瓶頸，架構(gòu)、算法才是重要的影響因素。
故而在跑通樹莓派的路上，基于全新自研的 Yan 架構(gòu)，RockAI 在實(shí)驗(yàn)室對(duì)人工神經(jīng)網(wǎng)絡(luò)最底層的反向傳播算法進(jìn)行挑戰(zhàn)，尋找反向傳播的更優(yōu)解嘗試。
而在算法側(cè)，RockAI 更是在上半年率先有所突破，在人腦神經(jīng)元分區(qū)激活的啟發(fā)下，實(shí)現(xiàn)了類腦分區(qū)激活的工作機(jī)制。
如同人開車跟寫字會(huì)分別激活腦部的視覺區(qū)域和閱讀區(qū)域一般，Yan 1.2 也不再需要全量的參數(shù)去訓(xùn)練，會(huì)根據(jù)學(xué)習(xí)的類型和知識(shí)的范圍來決定只調(diào)整哪部分神經(jīng)元，而這種分區(qū)的激活方式不僅可以減少數(shù)據(jù)訓(xùn)練量，同時(shí)也能有效發(fā)揮多模態(tài)的潛力，該算法被 RockAI 稱作基于仿生神經(jīng)元驅(qū)動(dòng)的選擇算法。
數(shù)據(jù)表明，人腦的神經(jīng)元大概是 800-1000 億，功耗大概是 20-30 瓦，而一臺(tái) GPU 算力服務(wù)器功耗能到 2000 瓦，這就意味著主流大模型的全參數(shù)激活，本身就是不必要的大功耗浪費(fèi)。
在今年 3 月類腦分區(qū)激活的工作機(jī)制實(shí)現(xiàn)后，甚至 10 億級(jí)參數(shù)的 Yan 模型通過改進(jìn)在 0 壓縮和 0 裁剪的情況下在一臺(tái) 7 年前生產(chǎn)的 Mac 筆記本的 CPU 上跑通。
2 個(gè)月后，“原生無損”跑通樹莓派的故事便在 RockAI 如期而至。
劍指“同步學(xué)習(xí)”，Yan 模型也能千人千面
跑通樹莓派，是 RockAI 走通低端設(shè)備上的里程碑，同時(shí)也預(yù)示著距離其“同步學(xué)習(xí)”概念落地更近了一步。
眾所周知，Transformer 大模型帶來一種開發(fā)范式 —— 先通過預(yù)訓(xùn)練讓大模型具備一定的基本能力，然后在下游任務(wù)中通過微調(diào)對(duì)齊，激發(fā)模型舉一反三的能力。
但這樣的云端大模型雖好，在實(shí)踐中卻有著不能實(shí)時(shí)改進(jìn)和學(xué)習(xí)的問題。
Transformer 架構(gòu)在大參數(shù)大數(shù)據(jù)的情況下，想在預(yù)訓(xùn)練完成之后再大規(guī)模的反向更新代價(jià)極其大的，尤其對(duì)算力要求非常高，更別提返到原廠去重新訓(xùn)練的時(shí)間和經(jīng)濟(jì)成本。
也就導(dǎo)致在嚴(yán)謹(jǐn)內(nèi)容場(chǎng)景下，一旦有內(nèi)容和評(píng)價(jià)發(fā)生較大轉(zhuǎn)變，Transformer 大模型學(xué)徒們往往要 1-2 個(gè)月去把數(shù)據(jù)清掉后，再重新訓(xùn)練后進(jìn)行提交，客戶一般很難接受。
這些 toB 實(shí)踐中的真實(shí)反饋，讓劉凡平意識(shí)到客戶對(duì)模型立即更新的需求，這要求模型不僅具備實(shí)時(shí)學(xué)習(xí)的能力，同時(shí)學(xué)習(xí)之后不能胡說八道。
懷揣著“機(jī)器能否具有像人一樣實(shí)時(shí)學(xué)習(xí)的能力”的思考，以及跟著客戶真實(shí)需求走的大方向指引，同步學(xué)習(xí)這一解法，在 RockAI 逐步清晰。
相比較泛機(jī)器學(xué)習(xí)領(lǐng)域的實(shí)時(shí)學(xué)習(xí)和在線學(xué)習(xí)、增量學(xué)習(xí)等概念，劉凡平認(rèn)為 RockAI 首創(chuàng)的同步學(xué)習(xí)概念差異性在于，做知識(shí)更新和學(xué)習(xí)時(shí)在模型層面訓(xùn)練和推理同步進(jìn)行，以期實(shí)時(shí)、有效且持續(xù)性地提升大模型的智能智力，應(yīng)對(duì)各類個(gè)性化場(chǎng)景中出現(xiàn)的問題。
而要理解快速更新的問題，涉及到現(xiàn)在神經(jīng)網(wǎng)絡(luò)的底層原理，本質(zhì)上神經(jīng)網(wǎng)絡(luò)的訓(xùn)練是前向傳播和反向傳播的過程。
就如同你正在玩一個(gè)猜數(shù)字游戲，你需要猜出一個(gè) 1 到 100 之間的隨機(jī)數(shù)。在開始時(shí)，你沒有關(guān)于這個(gè)數(shù)字的任何信息，所以你的第一次猜測(cè)可能是基于直覺或是隨便選了一個(gè)數(shù)，比如 50。這就好比是神經(jīng)網(wǎng)絡(luò)中的前向傳播 —— 在沒有任何歷史數(shù)據(jù)的情況下，根據(jù)當(dāng)前的參數(shù) (權(quán)重和偏置) 進(jìn)行一次預(yù)測(cè)。
當(dāng)你猜測(cè)了 50 后，游戲會(huì)告訴你這個(gè)數(shù)字“太大”或“太小”。如果你聽到“太大”，那么下一次猜測(cè)時(shí)，你會(huì)選擇小于 50 的一個(gè)數(shù)；如果得到反饋是“太小”，你則會(huì)選擇一個(gè)大于 50 的數(shù)。
這就類似于反向傳播對(duì)參數(shù)的調(diào)節(jié)過程。只要模型調(diào)整足夠快、代價(jià)足夠小，就能更快達(dá)到預(yù)期，實(shí)現(xiàn)從感知到認(rèn)知再到?jīng)Q策這一循環(huán)的加速，對(duì)現(xiàn)有知識(shí)體系進(jìn)行快速更新。
為此，RockAI 給出的同步學(xué)習(xí)解法落在，不斷嘗試尋找反向傳播的更優(yōu)解，試圖能更低代價(jià)更新神經(jīng)網(wǎng)絡(luò)，同時(shí)以模型分區(qū)激活降低功耗和實(shí)現(xiàn)部分更新，從而使得大模型可以給到客戶后持續(xù)成長(zhǎng)，像人類學(xué)習(xí)一樣建立自己獨(dú)有的知識(shí)體系。
在劉凡平的設(shè)想中，通過同步學(xué)習(xí)，Yan 模型部署到各類設(shè)備后，會(huì)更像貼身伴侶，伴隨著個(gè)人的習(xí)慣去進(jìn)行學(xué)習(xí)和服務(wù)，越來越具備個(gè)性化的價(jià)值，讓手機(jī)、電腦，甚至電視、音響等智能家居都能個(gè)性化適配到每個(gè)人，最終形成可交互的多樣性智能生態(tài)。
如此說來，那就是每個(gè)人在設(shè)備上都會(huì)找到自己的 Javis (鋼鐵俠的 AI 管家)。
奔赴 2.0,RockAI 蓄力 C 端商業(yè)化
把時(shí)間線拉長(zhǎng)到近半年來看，RockAI 的迭代呈現(xiàn)加速度。
3 月，類腦分區(qū)激活的工作機(jī)制實(shí)現(xiàn)；5 月初，“無損”跑通樹莓派；5 月底，全模態(tài)部分視覺支持走通。
雖然同步學(xué)習(xí)仍在實(shí)驗(yàn)室最后驗(yàn)證階段，仍需要大規(guī)模測(cè)試，但劉凡平表示，隨著把多模態(tài)的視覺、觸覺和聽覺能力補(bǔ)齊，Yan 2.0 也最快于今年年底面世。
“屆時(shí)，全模態(tài)支持 + 實(shí)時(shí)人機(jī)交互 + 同步學(xué)習(xí)的落地，Yan 2.0 的出現(xiàn)或?qū)⒀a(bǔ)齊具身智能的大腦短板。”
技術(shù)端的加速，背后是團(tuán)隊(duì)“吃苦”換來的。劉凡平坦言，干的都是其他廠商“不愿干”，也可能“干不了”的活。
算法端，RockAI 兵分兩路，一部分去做基礎(chǔ)算法和模型架構(gòu)的創(chuàng)新升級(jí)，在 1.2 基礎(chǔ)上朝著 2.0 進(jìn)發(fā)；另一部分則廣泛收集客戶反饋，通過不斷調(diào)整去貼近商業(yè)化落地。
劉凡平認(rèn)為只有最大程度獲取來自于外界和客戶的感知和需求，才能避免閉門造車與用戶的距離太遠(yuǎn)，逐漸形成明確和清晰的商業(yè)化路線。
而算法創(chuàng)新外，要實(shí)現(xiàn) Yan 2.0 落地即商業(yè)化的未來，工程團(tuán)隊(duì)也在做大量的標(biāo)準(zhǔn)化的“周邊”補(bǔ)齊，包括基礎(chǔ)設(shè)施、系統(tǒng)、交付等方方面面，解決方案團(tuán)隊(duì)更是從率先商業(yè)化的 B 端客戶“掃”到設(shè)備廠商，邊進(jìn)化邊驗(yàn)證降本增效和市場(chǎng)認(rèn)可度。
劉凡平也帶著團(tuán)隊(duì)奔走于上海、深圳、杭州等地，與中科曙光、華為昇騰、壁仞科技、廣電五舟等眾多硬件和芯片廠商建立了溝通，在端側(cè)模型的適配工作上，劉凡平能感受到設(shè)備端“積極提供測(cè)試機(jī)”的熱情，特別是樹莓派跑通后給到了話語權(quán)，機(jī)器人廠商們都開始競(jìng)相走訪。
而這些前置工作，都為接下來 Yan2.0 落地合適場(chǎng)景可能試產(chǎn) 1-2 萬臺(tái)的標(biāo)品規(guī)模化做足“迅速跟上”的周期準(zhǔn)備。
就端側(cè)模型來說，劉凡平認(rèn)為對(duì)于設(shè)備廠商而言，是類似 Windows 操作系統(tǒng)般的存在。現(xiàn)階段可能是系統(tǒng)在適配各種硬件，到了設(shè)備廠商深入了解模型的人工智能能力后，就需要設(shè)備反向兼容操作系統(tǒng)，而兩者合力，是社會(huì)分工生產(chǎn)力變化的一個(gè)必然趨勢(shì)。
“站在 toC 智能化甚至具身智能的大話題下，端側(cè)模型需要結(jié)合實(shí)際載體 (即硬件) 去做適配研究和迭代改進(jìn)，才能逐步形成標(biāo)準(zhǔn)化的類 Windows 操作系統(tǒng)，既可以裝在個(gè)人電腦也可以適配穿戴設(shè)備，而不同的身體就會(huì)需要不同的腦子，我們所構(gòu)想的通用人工智能，是在諸如智能手機(jī)、機(jī)器人以及其他多樣化設(shè)備上展現(xiàn)出的非凡適應(yīng)力與高度個(gè)性化的交互能力。”
作為一家從 B 端商業(yè)化驗(yàn)證過“模”力的企業(yè)，劉凡平坦言，當(dāng)前商業(yè)化重心部署到 C 端設(shè)備，是低算力的基因使然，亦是 AI 與本地設(shè)備結(jié)合的個(gè)性化趨勢(shì)必然，也是跳出 B 端商業(yè)化內(nèi)卷，搶占 C 端藍(lán)海市場(chǎng)的先機(jī)。
在 RockAI 的辦公室內(nèi)，擺滿了眾多的各類硬件設(shè)備，劉凡平笑道，還有大量的適配和兼容工作需要完成，而一旁來自深圳各個(gè)廠商的機(jī)器人也在等待適配他們的“大腦”。
從 Yan 1.0 到 Yan 1.2,RockAI 花了 4 個(gè)月時(shí)間，再到 2.0, 想必也不會(huì)太久。
本文鏈接：http://m.www897cc.com/showinfo-26-95285-0.html這一次，鋼鐵俠的 Javis 要跑到設(shè)備上
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com
上一篇： 2024 BrandZ 中國(guó)全球化品牌榜單發(fā)布：字節(jié)、小米前二，華為、OPPO 前十
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請(qǐng)聯(lián)系：2376512515@qq.com 津ICP備18001702號(hào)
津公網(wǎng)安備 12010102000574號(hào)