2023 年的 Node.js 生態(tài)系統(tǒng)
隨著技術(shù)的不斷演進(jìn)和創(chuàng)新，Node.js 在 2023 年達(dá)到了一個(gè)新的高度。Node.js 擁有一個(gè)龐大的生態(tài)系統(tǒng)，可以幫助開發(fā)人員更快地實(shí)現(xiàn)復(fù)雜的應(yīng)用。本文就來看看 Node.js 最新的生
背景
近些年，NLP 應(yīng)用方面有所突破，Bert、GPT、GPT-3 等超大模型橫掃各種 NLP 測(cè)試后，人們發(fā)現(xiàn)參數(shù)量越大的模型，在算法方面表現(xiàn)越好，于是紛紛開始迅速向大模型方向發(fā)展，模型體積爆炸式增長(zhǎng)。而大模型訓(xùn)練給現(xiàn)有的訓(xùn)練系統(tǒng)帶來的主要挑戰(zhàn)為顯存壓力，計(jì)算壓力和通信壓力。
The size of language model is growing at an exponential rate (來源：https://huggingface.co/blog/large-language-models)
火山引擎大模型訓(xùn)練框架 veGiantModel
針對(duì)這個(gè)需求，字節(jié)跳動(dòng) AML 團(tuán)隊(duì)內(nèi)部開發(fā)了火山引擎大模型訓(xùn)練框架 veGiantModel。基于 PyTorch 框架，veGiantModel 是以 Megatron 和 DeepSpeed 為基礎(chǔ)的高性能大模型訓(xùn)練框架。其特點(diǎn)包括：
同時(shí)支持?jǐn)?shù)據(jù)并行、算子切分、流水線并行 3 種分布式并行策略，同時(shí)支持自動(dòng)化和定制化的并行策略；基于 ByteCCL 高性能異步通訊庫(kù)，訓(xùn)練任務(wù)吞吐相比其他開源框架有 1.2x-3.5x 的提升；提供了更友好、靈活的流水線支持，降低了模型開發(fā)迭代所需要的人力；可在 GPU上高效地支持?jǐn)?shù)十億至上千億參數(shù)量的大模型；對(duì)帶寬要求低，在私有化部署無 RDMA 強(qiáng)依賴。
其中，ByteCCL 為字節(jié)跳動(dòng)自研的 BytePS 的升級(jí)版，針對(duì) A100/V100 等各種機(jī)型拓?fù)渥隽朔謱右?guī)約優(yōu)化，并支持了 allgather、alltoall 等更全面的通訊原語(yǔ)。
veGiantModel 性能表現(xiàn)硬件配置
為了展示 VeGiantModel 的性能，veGiantModel 團(tuán)隊(duì)使用了自建機(jī)房的物理機(jī)，分別在 A100 和 V100 機(jī)型上做了測(cè)試，實(shí)驗(yàn)配置分別如下：
V100 測(cè)試：每個(gè)機(jī)器 8 張 Tesla V100 32G 型號(hào) GPU，網(wǎng)絡(luò)帶寬 100GA100 測(cè)試：每個(gè)機(jī)器 8 張 Ampere A100 40G 型號(hào) GPU，網(wǎng)絡(luò)帶寬 800G模型和對(duì)照組選擇
veGiantModel 選擇了 GPT-13B 模型進(jìn)行評(píng)估，seq length 是 256, global batch size 是 1536。GPT 為目前市面上最為流行的 transformer based 語(yǔ)言模型。性能對(duì)照組選擇了開源社區(qū)最流行的 Megatron 和 DeepSpeed。
測(cè)試結(jié)果V100/TCP ：100Gb/s TCP 網(wǎng)絡(luò)帶寬，4 機(jī)，每機(jī) 8 張 Tesla V100 32G GPUV100/RDMA：100Gb/s RDMA 網(wǎng)絡(luò)帶寬，4 機(jī)，每機(jī) 8 張 Tesla V100 32G GPUA100/TCP：800Gb/s TCP 網(wǎng)絡(luò)帶寬，4 機(jī)，每機(jī) 8 張 Tesla A100 40G GPUA100/RDMA：800Gb/s RDMA 網(wǎng)絡(luò)帶寬，4 機(jī)，每機(jī) 8 張 Tesla A100 40G GPU模型：GPT-13BMegatron：v2.4，tensor-model-parallel-size 設(shè)置為 4, pipeline-model-parallel-size 設(shè)置為 4DeepSpeed：v0.4.2，使用 DeepSpeedExamples 開源社區(qū)中默認(rèn)的 zero3 的配置運(yùn)行環(huán)境統(tǒng)計(jì)值：Throughtput (samples/s)
從上述數(shù)據(jù)可以看出：
veGiantModel 性能更優(yōu)：無論是在高帶寬還是低帶寬的場(chǎng)下，veGiantModel 在 V100 和 A100 上均勝出 Megatron 和 DeepSpeed，最高可達(dá) 6.9 倍提升。veGiantModel 對(duì)網(wǎng)絡(luò)帶寬要求低：veGiantModel 在帶寬變化對(duì)吞吐的影響相對(duì)最小 (<10%)，而 DeepSpeed(ZeRO) 是對(duì)帶寬要求最高的，最高可達(dá)將近 5 倍的差距。原因解析
veGiantModel 為什么比 Megatron 和 DeepSpeed 更快？原因如下：
ByteCCL (BytePS) 高性能異步通訊庫(kù)。支持定制化的并行策略，可以將性能優(yōu)化推到極致。在支持?jǐn)?shù)據(jù)并行、算子切分、流水線并行 3 種分布式并行策略時(shí)，veGiantModel 會(huì)綜合考慮到跨機(jī)的帶寬，自動(dòng)調(diào)整 toplogy 的 placement。傳送門
veGiantModel 現(xiàn)已在 GitHub 上開源，地址如下：
https://github.com/volcengine/veGiantModel
GitHub 上詳細(xì)介紹了如何使用 veGiantModel 以及如何使用 veGiantModel 快速跑起一個(gè) GPT 的預(yù)訓(xùn)練。火山引擎機(jī)器學(xué)習(xí)平臺(tái)原生支持了 veGiantModel，目前平臺(tái)正在公測(cè)中，歡迎大家試用：https://www.volcengine.com/product/ml-platform
本文鏈接：http://m.www897cc.com/showinfo-119-2229-0.html性能最高提升 6.9 倍，字節(jié)跳動(dòng)開源大模型訓(xùn)練框架 veGiantModel
聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com
上一篇： 微軟智能云在華新增數(shù)據(jù)中心區(qū)域正式啟用 看好中國(guó)市場(chǎng)機(jī)會(huì)
下一篇： 云計(jì)算不相信小廠
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請(qǐng)聯(lián)系：2376512515@qq.com 津ICP備18001702號(hào)
津公網(wǎng)安備 12010102000574號(hào)