當前位置：首頁 > 科技 > 軟件

美團面試：說說Netty的零拷貝技術？

來源：責編：時間：2024-06-07 08:47:50 232觀看

導讀零拷貝技術（Zero-Copy）是一個大家耳熟能詳的技術名詞了，它主要用于提升 IO（Input & Output）的傳輸性能。那么問題來了，為什么零拷貝技術能提升 IO 性能？一、零拷貝技術和性能在傳統的 IO 操作中，當我們需要讀取并傳輸數據時，我

零拷貝技術（Zero-Copy）是一個大家耳熟能詳的技術名詞了，它主要用于提升 IO（Input & Output）的傳輸性能。

那么問題來了，為什么零拷貝技術能提升 IO 性能？

一、零拷貝技術和性能

在傳統的 IO 操作中，當我們需要讀取并傳輸數據時，我們需要在用戶態（用戶空間）和內核態（內核空間）中進行數據拷貝，它的執行流程如下：

圖片

從上述流程我們可以看出，在傳統的 IO 操作中，我們是需要 4 次拷貝和 4 次上下文切換（用戶態和內核態的切換）的。

而每次數據拷貝和上下文切換都有時間成本，會讓程序的執行時間變成，所以零拷貝技術的出現就是為了減少數據的拷貝次數以及上下文的切換次數的。

1.1 什么是用戶態和內核態？

操作系統有用戶態和內核態之分，這是因為計算機體系結構中的操作系統設計了兩個不同的執行環境，以提供不同的功能和特權級別。

用戶態（User Mode）是指應用程序運行時的執行環境。在用戶態下，應用程序只能訪問受限資源，如應用程序自身的內存空間、CPU 寄存器等，并且不能直接訪問操作系統的底層資源和硬件設備。
內核態（Kernel Mode）是指操作系統內核運行時的執行環境。在內核態下，操作系統具有更高的權限，可以直接訪問系統的硬件和底層資源，如 CPU、內存、設備驅動程序等。

1.2 什么是DMA？

DMA（Direct Memory Access，直接內存訪問）技術，繞過 CPU，直接在內存和外設之間進行數據傳輸。這樣可以減少 CPU 的參與，提高數據傳輸的效率。

二、Linux零拷貝技術

Linux 下實現零拷貝的主要實現技術是 MMap、sendFile，它們的具體介紹如下。

2.1 MMap

MMap（Memory Map）是 Linux 操作系統中提供的一種將文件映射到進程地址空間的一種機制，通過 MMap 進程可以像訪問內存一樣訪問文件，而無需顯式的復制操作。

使用 MMap 可以把 IO 執行流程優化成以下執行步驟：

圖片

傳統的 IO 需要四次拷貝和四次上下文（用戶態和內核態）切換，而 MMap 只需要三次拷貝和四次上下文切換，從而能夠提升程序整體的執行效率，并且節省了程序的內存空間。

2.2 senFile 方法

在 Linux 操作系統中 sendFile() 是一個系統調用函數，用于高效地將文件數據從內核空間直接傳輸到網絡套接字（Socket）上，從而實現零拷貝技術。這個函數的主要目的是減少 CPU 上下文切換以及內存復制操作，提高文件傳輸性能。

使用 sendFile() 可以把 IO 執行流程優化成以下執行步驟：

圖片

三、Netty零拷貝技術

Netty 中的零拷貝和傳統 Linux 的零拷貝技術的實現不太一樣，Netty 中的零拷貝技術主要是通過優化用戶態的操作來提升 IO 的執行速度，從而實現零拷貝的。

PS：所有可以提升 IO 執行效率的操作或手段都可以稱之為零拷貝技術。

Netty 中的零拷貝技術主要有以下 5 種實現：

使用堆外內存：避免 JVM 堆內存到堆外內存的數據拷貝，從而提升了 IO 的操作性能。
使用 CompositeByteBuf 合并對象：可以組合多個 Buffer 對象合并成一個邏輯上的對象，避免通過傳統內存拷貝的方式將幾個 Buffer 合并成一個大的 Buffer。
通過 Unpooled.wrappedBuffer 合并數據：可以將 byte 數組包裝成 ByteBuf 對象，包裝過程中不會產生內存拷貝。
使用 ByteBuf.slice 共享對象：操作與 Unpooled.wrappedBuffer 相反，slice 操作可以將一個 ByteBuf 對象切分成多個 ByteBuf 對象，切分過程中不會產生內存拷貝，底層共享一個 byte 數組的存儲空間。
使用 FileRegion 實現零拷貝：FileRegion 底層封裝了 FileChannel#transferTo() 方法，可以將文件緩沖區的數據直接傳輸到目標 Channel，避免內核緩沖區和用戶態緩沖區之間的數據拷貝，這屬于操作系統級別的零拷貝。

它們的具體實現如下。

3.1 使用堆外內存

正常情況下，JVM 需要將數據從 JVM 堆內存拷貝到堆外內存進行業務執行的，這是因為：

操作系統并不感知 JVM 的堆內存，而且 JVM 的內存布局與操作系統所分配的是不一樣的，操作系統并不會按照 JVM 的行為來讀寫數據。
同一個對象的內存地址隨著 JVM GC 的執行可能會隨時發生變化，例如 JVM GC 的過程中會通過壓縮來減少內存碎片，這就涉及對象移動的問題了。

而 Netty 在進行 I/O 操作時都是使用的堆外內存，可以避免數據從 JVM 堆內存到堆外內存的拷貝。

3.2 使用CompositeByteBuf合并對象

CompositeByteBuf 可以理解為一個虛擬的 Buffer 對象，它是由多個 ByteBuf 組合而成，但是在 CompositeByteBuf 內部保存著每個 ByteBuf 的引用關系，從邏輯上構成一個整體。使用 CompositeByteBuf 我們可以合并兩個 ByteBuf 對象，從而避免兩個對象合并時需要兩次 CPU 拷貝操作的問題，在沒有使用 CompositeByteBuf 時，我們的操作是這樣的：

ByteBuf httpBuf = Unpooled.buffer(header.readableBytes() + body.readableBytes());httpBuf.writeBytes(header);httpBuf.writeBytes(body);

而實現 header 和 body 這兩個 ByteBuf 的合并，需要先初始化一個新的 httpBuf，然后再將 header 和 body 分別拷貝到新的 httpBuf。合并過程中涉及兩次 CPU 拷貝，這非常浪費性能，所以我們就可以使用 CompositeByteBuf 了，它的使用如下：

CompositeByteBuf httpBuf = Unpooled.compositeBuffer();httpBuf.addComponents(true, header, body);

CompositeByteBuf 通過調用 addComponents() 方法來添加多個 ByteBuf，但是底層的 byte 數組是復用的，不會發生內存拷貝。

3.3 通過Unpooled.wrappedBuffer合并數據

Unpooled.wrappedBuffer 的操作類似，使用它可以將不同的數據源的一個或者多個數據包裝成一個大的 ByteBuf 對象，其中數據源的類型包括 byte[]、ByteBuf、ByteBuffer。包裝的過程中不會發生數據拷貝操作，包裝后生成的 ByteBuf 對象和原始 ByteBuf 對象是共享底層的 byte 數組。

3.4 使用 ByteBuf.slice 共享對象

ByteBuf.slice 和 Unpooled.wrappedBuffer 的邏輯正好相反，ByteBuf.slice 是將一個 ByteBuf 對象切分成多個共享同一個底層存儲的 ByteBuf 對象，從而避免對象分割時的數據拷貝，它的使用如下：

ByteBuf httpBuf = ...ByteBuf header = httpBuf.slice(0, 6);ByteBuf body = httpBuf.slice(6, 4);

3.5 使用 FileRegion 實現文件零拷貝

FileRegion 底層封裝了 FileChannel#transferTo() 方法，可以將文件緩沖區的數據直接傳輸到目標 Channel，避免內核緩沖區和用戶態緩沖區之間的數據拷貝，這屬于操作系統級別的零拷貝。

以下是 FileRegion 的默認實現類 DefaultFileRegion 的使用案例：

@Overridepublic void channelRead0(ChannelHandlerContext ctx, String msg) throws Exception {    RandomAccessFile raf = null;    long length = -1;    try {        raf = new RandomAccessFile(msg, "r");        length = raf.length();    } catch (Exception e) {        ctx.writeAndFlush("ERR: " + e.getClass().getSimpleName() + ": " + e.getMessage() + '/n');        return;    } finally {        if (length < 0 && raf != null) {            raf.close();        }    }    ctx.write("OK: " + raf.length() + '/n');    if (ctx.pipeline().get(SslHandler.class) == null) {        // SSL not enabled - can use zero-copy file transfer.        ctx.write(new DefaultFileRegion(raf.getChannel(), 0, length));    } else {        // SSL enabled - cannot use zero-copy file transfer.        ctx.write(new ChunkedFile(raf));    }    ctx.writeAndFlush("/n");}

從上述代碼可以看出，可以通過 DefaultFileRegion 將文件內容直接寫入到 NioSocketChannel 中，從而避免了內核緩沖區和用戶態緩沖區之間的數據拷貝。

本文鏈接：http://m.www897cc.com/showinfo-26-92592-0.html美團面試：說說Netty的零拷貝技術？

聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇： JavaScript 奇葩行為大賞

下一篇：使用Rust開發的區塊鏈(Solana)與Socket.IO進行實時無人機數據傳輸

標簽：

熱門焦點

Mate60手機殼曝光致敬自己的經典設計

8月3日消息，今天下午博主數碼閑聊站帶來了華為Mate60的第三方手機殼圖，可以讓我們在真機發布之前看看這款華為全新旗艦的大致輪廓。從曝光的圖片看，Mate 60背后攝像頭面積依然
Redmi Pad評測：紅米充滿野心的一次嘗試

從Note系列到K系列，從藍牙耳機到筆記本電腦，紅米不知不覺之間也已經形成了自己頗有競爭力的產品體系，在中端和次旗艦市場上甚至要比小米新機的表現來得更好，正所謂“大丈夫生居
企業采用CRM系統的11個好處

客戶關系管理（CRM）軟件可以為企業提供很多的好處，從客戶保留到提高生產力。　　CRM軟件用于企業收集客戶互動，以改善客戶體驗和滿意度。　　CRM軟件市場規模如今超過580
為什么你不應該使用Div作為可點擊元素

按鈕是為任何網絡應用程序提供交互性的最常見方式。但我們經常傾向于使用其他HTML元素，如 div span 等作為 clickable 元素。但通過這樣做，我們錯過了許多內置瀏覽器的功能。
零售大模型“干中學”，攀爬數字化珠峰

文/侯煜編輯/cc來源/華爾街科技眼對于絕大多數登山愛好者而言，攀爬珠穆朗瑪峰可謂終極目標。攀登珠峰的商業路線有兩條，一是尼泊爾境內的南坡路線，一是中國境內的北坡路線。相
騰訊VS網易，最卷游戲暑期檔，誰能笑到最后？

作者：無銹缽來源：財經無忌7月16日晚，上海1862時尚藝術中心。伴隨著幻象的精準命中，碩大的熒幕之上，比分被定格在了14：12，被寄予厚望的EDG戰隊以絕對的優勢戰勝了BLG戰隊，拿下了總決
SN570 NVMe SSD固態硬盤價格與性能兼具

SN570 NVMe SSD固態硬盤是西部數據發布的最新一代WD Blue系列的固態硬盤，不僅閃存技術更為精進，性能也得到了進一步的躍升。WD Blue SN570 NVMe SSD的包裝外
2021中國國際消費電子博覽會與青島國際軟件融合創新博覽會新聞發布會隆重舉行

9月18日，2021中國國際消費電子博覽會與青島國際軟件融合創新博覽會新聞發布會在青島國際新聞中心隆重舉行。發布會上青島市政府領導聯袂出席，對本次雙展會情
外交部：美方應停止在網絡安全問題上不負責任地指責他國

　中國外交部今天（16日）舉行例行記者會。會上，有記者問，美國情報官員稱，他們正在阻攔來自中國以及其他國家的黑客獲取相關科研成果。中方對此有何評論？對此

日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

美團面試：說說Netty的零拷貝技術？

一、零拷貝技術和性能

1.1 什么是用戶態和內核態？

1.2 什么是DMA？

二、Linux零拷貝技術

2.1 MMap

2.2 senFile 方法

三、Netty零拷貝技術

3.1 使用堆外內存

3.2 使用CompositeByteBuf合并對象

3.3 通過Unpooled.wrappedBuffer合并數據

3.4 使用 ByteBuf.slice 共享對象

3.5 使用 FileRegion 實現文件零拷貝

Mate60手機殼曝光致敬自己的經典設計

Redmi Pad評測：紅米充滿野心的一次嘗試

企業采用CRM系統的11個好處

為什么你不應該使用Div作為可點擊元素

零售大模型“干中學”，攀爬數字化珠峰

騰訊VS網易，最卷游戲暑期檔，誰能笑到最后？

SN570 NVMe SSD固態硬盤價格與性能兼具

2021中國國際消費電子博覽會與青島國際軟件融合創新博覽會新聞發布會隆重舉行

外交部：美方應停止在網絡安全問題上不負責任地指責他國

最新推薦

猜你喜歡

熱門推薦

相關資訊