7 月 31 日消息，用戶所使用的語(yǔ)言對(duì)于大型語(yǔ)言模型（LLM）的費(fèi)用有很大的影響，可能造成英語(yǔ)使用者和其它語(yǔ)言使用者之間的人工智能鴻溝。最近的一項(xiàng)研究顯示，由于 OpenAI 等服務(wù)所采用的服務(wù)器成本衡量和計(jì)費(fèi)的方式，英語(yǔ)輸入和輸出的費(fèi)用要比其他語(yǔ)言低得多，其中簡(jiǎn)體中文的費(fèi)用大約是英語(yǔ)的兩倍，西班牙語(yǔ)是英語(yǔ)的 1.5 倍，而緬甸的撣語(yǔ)則是英語(yǔ)的 15 倍。yUY28資訊網(wǎng)——每日最新資訊28at.com

注意到，推特用戶 Dylan Patel（@dlan522p）分享了一張照片，展示了牛津大學(xué)進(jìn)行的一項(xiàng)研究，該研究發(fā)現(xiàn)，讓一個(gè) LLM 處理一句緬甸語(yǔ)句子需要 198 個(gè)詞元（tokens），而同樣的句子用英語(yǔ)寫只需要 17 個(gè)詞元。詞元代表了通過(guò) API（如 OpenAI 的 ChatGPT 或 Anthropic 的 Claude 2）訪問(wèn) LLM 所需的計(jì)算力成本，這意味著緬甸語(yǔ)句子使用這種服務(wù)的成本比英語(yǔ)句子高出 11 倍。yUY28資訊網(wǎng)——每日最新資訊28at.com

詞元化模型（即人工智能公司將用戶輸入轉(zhuǎn)換為計(jì)算成本的方式）意味著，除了英語(yǔ)之外的其他語(yǔ)言使用和訓(xùn)練模型要貴得多。這是因?yàn)橄裰形倪@樣的語(yǔ)言有著不同、更復(fù)雜的結(jié)構(gòu)（無(wú)論是從語(yǔ)法還是字符數(shù)量上），導(dǎo)致它們需要更高的詞元化率。例如，根據(jù) OpenAI 的 GPT3 分詞器 ，“你的愛意（your affection）”的詞元，在英語(yǔ)中只需要兩個(gè)詞元，但在簡(jiǎn)體中文中需要八個(gè)詞元。盡管簡(jiǎn)體中文文本只有 4 個(gè)字符（你的愛意），而英文有 14 個(gè)字符。yUY28資訊網(wǎng)——每日最新資訊28at.com

本文鏈接：http://m.www897cc.com/showinfo-21-628-0.htmlAI大模型的語(yǔ)言不平等：英語(yǔ)最便宜，其它語(yǔ)言要貴得多

聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com

上一篇： 韓媒稱寧德時(shí)代上半年?duì)I收幾乎等于整個(gè)韓國(guó)電池行業(yè)

下一篇： 馬云最新動(dòng)作曝光：布局農(nóng)業(yè)板塊