微信語音大揭秘：為什么禁止轉發？
大家好，我是你們的小米。今天，我要和大家聊一個有趣的話題：為什么微信語音不可以轉發？這是一個我們經常在日常使用中遇到的問題，也是一個讓很多人好奇的問題。讓我們一起來揭開這
基于RAG+大模型的應用已經成為當前AI應用領域的一個熱門方向。RAG(Retrieval-Augmented Generation)將檢索和生成兩個步驟相結合，利用外部知識庫來增強生成模型的能力(如下圖來自網絡)。
圖片
在RAG賦能的大模型應用中，關鍵的一步是將文本數據向量化后存儲在向量數據庫中(如上圖的紅框)，以實現快速的相似度搜索，從而檢索與輸入查詢相關的文本片段，再將檢索到的文本輸入給生成模型生成最終結果。
本文是我學習開發大模型應用的一篇小記，探討的是如何使用Ollama和Go語言實現文本數據的向量化處理，這是開發基于RAG的大模型應用的前提和基礎。
要進行文本向量化，我們首先要了解一下文本向量化的方法以及發展。
縱觀文本向量化技術的發展歷程，我們可以看到從早期的詞袋模型(Bag-of-Words)、主題模型(Topic Models)，到詞嵌入(Word Embedding)、句嵌入(Sentence Embedding)，再到當前基于預訓練的文本嵌入模型(Pretrained Text Embedding Models)，文本向量化的方法不斷演進，語義表達能力也越來越強。
但傳統的詞袋模型忽略了詞序和語義，主題模型又難以捕捉詞間的細粒度關系，詞嵌入模型(如Word2Vec、GloVe)雖然考慮了詞的上下文，但無法很好地表征整個句子或文檔的語義。近年來，隨著預訓練語言模型(如BERT、GPT等)的崛起，出現了一系列強大的文本嵌入模型，它們在大規模語料上進行預訓練，能夠生成高質量的句子/文檔嵌入向量，廣泛應用于各類NLP任務中。下圖是抱抱臉(https://huggingface.co/)的最新文本嵌入模型的排行榜[1]：
圖片
目前，基于大型預訓練語言模型的文本嵌入已成為主流方法。這些模型在大規模無監督語料上預訓練，學習到豐富的語義知識，生成的文本嵌入能較好地編碼詞語、短語和句子等多個層面的語義關系。Nomic AI[2]等組織發布了多種優秀的預訓練文本嵌入模型，應用效果獲得了較大提升。這種基于預訓練的文本嵌入模型來實現文本數據向量化的方法也緩解了Go語言生態中文本向量化的相關庫相對較少的尷尬，Gopher可以在預訓練文本嵌入模型的幫助下將文本向量化。接下來，我們就來看看如何基于Ollama和Go基于文本嵌入模型實現文本向量化。
考慮到實驗環境資源有限，以及Ollama對Text Embedding模型的支持[3]，這里我選擇了Nomic AI開源發布的nomic-embed-text v1.5模型[4]，雖然在抱抱臉上它的排名并不十分靠前。
下面我們就用ollama下載nomic-embed-text:v1.5模型：
$ollama pull nomic-embed-text:v1.5pulling manifestpulling manifestpulling 970aa74c0a90... 100% ▕██████████████████████████████████████████████████████████████████▏ 274 MB pulling c71d239df917... 100% ▕██████████████████████████████████████████████████████████████████▏ 11 KB pulling ce4a164fc046... 100% ▕██████████████████████████████████████████████████████████████████▏ 17 B pulling 31df23ea7daa... 100% ▕██████████████████████████████████████████████████████████████████▏ 420 B verifying sha256 digestwriting manifestremoving any unused layerssuccess算上之前的Llama3模型，目前本地已經有了兩個模型：
$ollama listNAME ID SIZE MODIFIED llama3:latest 71a106a91016 4.7 GB 2 weeks ago nomic-embed-text:v1.5 0a109f422b47 274 MB 3 seconds ago不過與llama3的對話模型不同，nomic-embed-text:v1.5是用于本文嵌入的模型，我們不能使用命令行來run該模型并通過命令行與其交互：
$ollama run nomic-embed-text:v1.5Error: embedding models do not support chat一旦模型下載成功，我們就可以通過Ollama的HTTP API來訪問該模型了，下面是通過curl將一段文本向量化的命令：
$curl http://localhost:11434/api/embeddings -d '{ "model": "nomic-embed-text:v1.5", "prompt": "The sky is blue because of Rayleigh scattering"}'{"embedding":[-1.246808409690857,0.10344144701957703,0.6935597658157349,-0.6157534718513489,0.4244955778121948,-0.7677388191223145,1.4136837720870972,0.012530215084552765,0.007208258379250765,-0.858286440372467,1.02878999710083,0.6512939929962158,1.0005667209625244,1.4231345653533936,0.30222395062446594,-0.4343869090080261,-1.358498215675354,-1.0671193599700928,0.3035725951194763,-1.5876567363739014,-0.9811925888061523,-0.31766557693481445,-0.32180508971214294,0.5726669430732727,-1.4187577962875366,-0.23533311486244202,-0.3387795686721802,0.02435961365699768,-0.9517765641212463,0.4120883047580719,-0.4619484841823578,-0.6658303737640381,0.010240706615149975,0.7687620520591736,0.9147310853004456,-0.18446297943592072,1.6336615085601807,1.006791353225708,-0.7928107976913452,0.3333768844604492,-0.9133707880973816,-0.8000166416168213,-0.41302260756492615,0.32945334911346436,0.44106146693229675,-1.3581880331039429,-0.2830675542354584,-0.49363842606544495,0.20744864642620087,0.039297714829444885,-0.6562637686729431,-0.24374787509441376,-0.22294744849205017,-0.664574921131134,0.5489196181297302,1.0000559091567993,0.45487216114997864,0.5257866382598877,0.25838619470596313,0.8648120760917664,0.32076674699783325,1.79911208152771,-0.23030932247638702,0.27912014722824097,0.6304138898849487,-1.1762936115264893,0.2685599625110626,-0.6646256446838379,0.332780659198761,0.1742674708366394,-0.27117523550987244,-1.1485087871551514,0.07291799038648605,0.7712352275848389,...,]}注意：如果curl請求得到的應答是類似{"error":"error starting the external llama server: exec: "ollama_llama_server": executable file not found in $PATH "}，可以嘗試重啟Ollama服務來解決：systemctl restart ollama。
Ollama沒有提供sdk，我們就基于langchaingo[6]的ollama包訪問ollama本地加載的nomic-embed-text:v1.5模型，實現文本的向量化。下面是示例的源碼：
// textembedding.gopackage mainimport ( "context" "fmt" "log" "github.com/tmc/langchaingo/llms/ollama")func main() { llm, err := ollama.New(ollama.WithModel("nomic-embed-text:v1.5")) if err != nil { log.Fatal(err) } ctx := context.Background() inputText := "The sky is blue because of Rayleigh scattering" result, err := llm.CreateEmbedding(ctx, []string{inputText}) if err != nil { log.Fatal(err) } fmt.Printf("%#v/n", result) fmt.Printf("%d/n", len(result[0]))}更新一下依賴：
# go mod tidygo: finding module for package github.com/tmc/langchaingo/llms/ollamago: toolchain upgrade needed to resolve github.com/tmc/langchaingo/llms/ollamago: github.com/tmc/langchaingo@v0.1.9 requires go >= 1.22.0; switching to go1.22.3go: downloading go1.22.3 (linux/amd64)go: finding module for package github.com/tmc/langchaingo/llms/ollamago: found github.com/tmc/langchaingo/llms/ollama in github.com/tmc/langchaingo v0.1.9go: downloading github.com/stretchr/testify v1.9.0go: downloading github.com/pkoukk/tiktoken-go v0.1.6go: downloading gopkg.in/yaml.v3 v3.0.1go: downloading github.com/davecgh/go-spew v1.1.1go: downloading github.com/pmezard/go-difflib v1.0.0go: downloading github.com/google/uuid v1.6.0go: downloading github.com/dlclark/regexp2 v1.10.0我本地的Go是1.21.4版本，但langchaingo需要1.22.0版本及以上，這里考慮向前兼容性[7]，go下載了go1.22.3。
接下來運行一下上述程序：
$go run textembedding.go[][]float32{[]float32{-1.2468084, 0.10344145, 0.69355977, -0.6157535, 0.42449558, -0.7677388, 1.4136838, 0.012530215, 0.0072082584, -0.85828644, 1.02879, 0.651294, 1.0005667, 1.4231346, 0.30222395, -0.4343869, -1.3584982, -1.0671194, 0.3035726, -1.5876567, -0.9811926, -0.31766558, -0.3218051, 0.57266694, -1.4187578, -0.23533311, -0.33877957, 0.024359614, -0.95177656, 0.4120883, -0.46194848, -0.6658304, 0.010240707, 0.76876205, 0.9147311, -0.18446298, 1.6336615, 1.0067914, -0.7928108, 0.33337688, -0.9133708, -0.80001664, -0.4130226, 0.32945335, 0.44106147, -1.358188, -0.28306755, -0.49363843, 0.20744865, 0.039297715, -0.65626377, -0.24374788, -0.22294745, -0.6645749, 0.5489196, 1.0000559, 0.45487216, 0.52578664, 0.2583862, 0.8648121, 0.32076675, 1.7991121, -0.23030932, 0.27912015, 0.6304139, -1.1762936, 0.26855996, -0.66462564, 0.33278066, 0.17426747, -0.27117524, -1.1485088, 0.07291799, 0.7712352, -1.2570909, -0.6230442, 0.02963586, -0.4936177, -0.014295651, 0.5730515, ... , -0.5260737, -0.44808808, 0.9352375}}768我們看到輸入的文本成功地被向量化了，我們輸出了這個向量的維度：768。
注：文本向量維度的常見的值有200、300、768、1536等。
我們看到，基于Ollama加載的預訓練文本嵌入模型，我們可以在Go語言中實現高效優質的文本向量化。將文本數據映射到語義向量空間，為基于RAG的知識庫應用打下堅實的基礎。有了向量后，我們便可以將其存儲在向量數據庫中備用，在后續的文章中，我會探討向量數據庫寫入與檢索的實現方法。
本文鏈接：http://m.www897cc.com/showinfo-26-87489-0.html使用Ollama和Go基于文本嵌入模型實現文本向量化
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
上一篇： 系統設計 | 多語言設計，你學會了嗎？
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號