俄羅斯：將審查iPhone等外國公司設(shè)備 保數(shù)據(jù)安全
iPhone和特斯拉都屬于在各自領(lǐng)域領(lǐng)頭羊的品牌，推出的產(chǎn)品也也都是數(shù)一數(shù)二的，但對于一些國家而言，它們的產(chǎn)品可靠性和安全性還是在限制范圍內(nèi)。近日，俄羅斯聯(lián)邦通信、信息技術(shù)
成學(xué)，攜程高級安全研發(fā)工程師，關(guān)注Python/Golang后端開發(fā)、大語言模型等領(lǐng)域。
2023年初，科技圈最火爆的話題莫過于大語言模型了，它是一種全新的聊天機(jī)器人模型，除了能應(yīng)對基本的日常聊天外，還能勝任如文案編寫、旅游規(guī)劃等各項工作。
攜程信息安全部也緊跟時代步伐，在攜程內(nèi)部推出基于大語言模型的智能聊天機(jī)器人，并發(fā)布網(wǎng)頁版1.0，讓所有“程里人”可以便捷無門檻地享受大語言模型帶來的便利。在運(yùn)營半年多后，我們廣泛收集了用戶的使用感受以及建議，結(jié)合當(dāng)下大語言模型的發(fā)展進(jìn)程，新推出了網(wǎng)頁版2.0，相較于1.0版本，簡化了頁面展示，增加了歷史會話保存、自定義對話設(shè)置、支持插件、AI繪圖等功能。
其中插件功能可以擴(kuò)展大語言模型的個性化能力，讓其如虎添翼，開發(fā)者可以根據(jù)特定需求定義特定插件供用戶使用。目前網(wǎng)頁版2.0版本支持10多種插件，如Google搜索插件可以對輸入的問題進(jìn)行聯(lián)網(wǎng)查詢；Base64插件可以對Base64內(nèi)容進(jìn)行解密等。那么這些插件是如何實現(xiàn)的呢？讓我們一探究竟吧。
2.1 Function Calling
目前多個大語言模型都推出了Function Calling（函數(shù)調(diào)用）能力，用于幫助開發(fā)者通過 API 方式實現(xiàn)類似于插件的能力。通過Function Calling，我們可以將多個自定義的函數(shù)描述連同提出的問題一起傳給大語言模型，它會分析這些函數(shù)描述與提問內(nèi)容的相關(guān)性，并將最相關(guān)的函數(shù)及對應(yīng)的函數(shù)傳參一起返回，我們再執(zhí)行函數(shù)對應(yīng)的業(yè)務(wù)邏輯，即可得到問題的答案。
Function Calling的大體使用流程如下：
舉個例子，我們的問題是“今天上海天氣如何”，大語言模型本身不能聯(lián)網(wǎng)，不知道當(dāng)前上海的天氣信息，但是按照Function Calling的使用步驟，我們可以回答這個問題：
由此可以看出Function Calling（函數(shù)調(diào)用）的本質(zhì)就是利用大語言模型的文字分析能力，在提供的一系列函數(shù)中，找出能夠回答問題的最合適的函數(shù)，函數(shù)內(nèi)部的具體邏輯則交給開發(fā)者自己實現(xiàn)，而不是大語言模型實現(xiàn)。
再進(jìn)一步分析可以發(fā)現(xiàn)，如果沒有Function Calling，其實通過prompt提示我們也可以實現(xiàn)Function Calling的功能，例如prompt類似于“我有一些函數(shù)，定義為xxxx，我想知道“今天上海天氣如何”，請告訴我用哪個函數(shù)可以解答這個問題，并告訴我函數(shù)的傳參“。當(dāng)然這個prompt效果并不一定很好，每個人的prompt也不盡相同，那么Function Calling這個功能就應(yīng)運(yùn)而生了，針對這種場景進(jìn)行調(diào)優(yōu)并規(guī)范了函數(shù)的定義和返回格式，方便了開發(fā)者的使用。
2.2 如何實現(xiàn)異步
在定義插件時，有一些插件如Ping插件、IP掃描插件等，由于網(wǎng)絡(luò)耗時或執(zhí)行本身比較慢，提問后無法立馬返回結(jié)果，所以需要使用異步的方式，等后臺服務(wù)執(zhí)行完成后，再把結(jié)果返回給前端。對于這種場景，我們需要主動向前端推送消息，常用的方法就是使用WebSocket。
WebSocket是從HTML5開始提供的一種瀏覽器與服務(wù)器進(jìn)行全雙工通訊的網(wǎng)絡(luò)技術(shù)，它的目的是在瀏覽器和服務(wù)器之間建立一個不受限的雙向通信的通道。比如說，服務(wù)器可以在任意時刻發(fā)送消息給瀏覽器。它不是一種全新的協(xié)議，而是利用了HTTP協(xié)議來建立連接，屬于應(yīng)用層協(xié)議。
它具有如下優(yōu)點：
除了WebSocket，我們還可以選擇使用socketIO。Socket.IO也可以實現(xiàn)客戶端和服務(wù)段之間雙向通信。但與WebSocket不同的是，socketIO是一個第三方庫，他具有WebSocket的基本功能，同時也增強(qiáng)了一些的功能。比如：
但需要強(qiáng)調(diào)的是：Socket.IO與WebSocket并不能兼容，盡管 Socket.IO 確實在可能的情況下使用 WebSocket 進(jìn)行傳輸，但它為每個數(shù)據(jù)包添加了額外的元數(shù)據(jù)。因此WebSocket客戶端將無法成功連接到Socket.IO服務(wù)器，而Socket.IO客戶端也將無法連接到普通WebSocket服務(wù)器。
socketIO服務(wù)連接時，可以在f12中看到連接的過程：
總共分為5步：
{ "sid": "FSDjX-WRwSA4zTZMALqx", // 會話的ID，它必須包含在后續(xù)所有HTTP請求的查詢參數(shù)中 "upgrades": ["websocket"], // 數(shù)組包含服務(wù)器支持的所有“更好”傳輸?shù)牧斜? "pingInterval": 25000, // 心跳檢測時間，25秒 "pingTimeout": 20000 // # 心跳超時時間，20秒 }以下實現(xiàn)案例基于國內(nèi)開源大語言模型ChatGLM3，ChatGLM3 是智譜AI和清華大學(xué) KEG 實驗室聯(lián)合發(fā)布的對話預(yù)訓(xùn)練模型。
3.1 定義各種插件
根據(jù)ChatGLM3模型的插件規(guī)范，定義插件的相關(guān)信息，這里舉2個例子，Google搜索（同步插件）、Ping（異步插件）。
all_plugins = { "google": { "name_cn": "谷歌搜索", # 中文名稱 "sync": True, # 是否同步執(zhí)行 "message": "{result}", # 返回給用戶的消息 # info內(nèi)容為符合ChatGLM3 function call規(guī)范的函數(shù)定義 "info": { "name": "google", # 函數(shù)名 "description": "當(dāng)問題需要進(jìn)行實時搜索(如今天的日期或者今天的天氣等)時, 或者無法回答時, 使用 google 搜索", # 函數(shù)描述 "parameters": { "type": "object", "properties": { "keyword": { # 傳參參數(shù)名 "type": "string", # 參數(shù)數(shù)據(jù)類型 "description": "搜索的關(guān)鍵詞" # 參數(shù)描述 } }, "required": ["keyword"] # 必填參數(shù) } } }, "ping": { "name_cn": "ping", "sync": False, "message": "使用ping插件，由于該任務(wù)執(zhí)行時間比較長，完成后我會主動將結(jié)果發(fā)送給您。請耐心等待。如果您有其他問題，可以繼續(xù)提問。", "info": { "name": "ping", "description": "使用ping工具對IP地址進(jìn)行ping測試", "parameters": { "type": "object", "properties": { "addr": { "type": "string", "description": "被ping的ip或者域名" } }, "required": ["addr"] } } }}定義插件對應(yīng)的函數(shù)實現(xiàn)：
class Functions: @classmethod def ping(cls, **kwargs): """ping實現(xiàn)""" # 省略ping的代碼實現(xiàn) pass @classmethod def google(cls, **kwargs): """google搜索實現(xiàn)""" # 查詢關(guān)鍵字 keyword = kwargs['keyword'] # 搜索結(jié)果 search_context = [] # 使用google api搜索 res = server['service'].cse().list(q=keyword, cx=server['cx'], ).execute() # 遍歷搜索結(jié)果 for row in res.get('items', []): # 提取每條搜索結(jié)果的簡要信息 search_context.append(row['snippet']) # 匯總搜索結(jié)果和問題組成prompt prompt = [{"role": "user", "content": f"請結(jié)合以下內(nèi)容，回答問題：{keyword}/n" + "/n".join(search_context)}] # 調(diào)用大語言模型生成答案 return reply_text(prompt)3.2 使用Function Calling實現(xiàn)插件功能
大體邏輯為：將插件信息和用戶提問一起發(fā)送給大語言模型的API，得到與之匹配的插件，再調(diào)用插件對應(yīng)的函數(shù)，得到結(jié)果返回給用戶。以下代碼為簡化的ChatGLM3示例代碼：
import torchfrom transformers import AutoTokenizer, AutoModeldef main(): """使用插件時回復(fù)文字""" DEVICE = 'cuda' if torch.cuda.is_available() else 'cpu' tokenizer = AutoTokenizer.from_pretrained('/home/chatglm3-6b', trust_remote_code=True) model = AutoModel.from_pretrained('/home/chatglm3-6b', trust_remote_code=True).to(DEVICE).eval() # 匯總所有的插件信息 tools = [plugin['info'] for plugin in all_plugins.values()] # 將插件信息設(shè)置在對話歷史中 history = [{"role": "system", "content": "Answer the following questions as best as you can. You have access to the following tools:", "tools": tools}] # 調(diào)用function calling response, _ = model.chat(tokenizer, query, history=history) # 獲取匹配的插件名稱 plugin_name = response.get("name", "") # 獲取匹配的插件參數(shù) arguments = response.get("parameters", {}) # 沒有匹配到插件則退出 if not plugin_name: return None # 獲取插件完整信息 plugin = all_plugins[plugin_name] # 使用反射機(jī)制獲取插件對應(yīng)的函數(shù)對象 func = getattr(Functions, plugin_name) # 執(zhí)行函數(shù)并返回結(jié)果 res = func(**arguments) return res3.3 異步插件的實現(xiàn)
本項目Web后端使用的框架為flask，使用socketIO實現(xiàn)異步交互，需要安裝對應(yīng)的庫：flask_socketio，啟動時，在flask的app上使用SocketIO包裝一下即可，這樣在同一個端口上同時開啟了http服務(wù)和socketIO服務(wù)，下面只展示基本關(guān)鍵代碼：
from flask import Flaskfrom flask_socketio import SocketIO# flask原始 appweb_app = Flask(__name__, static_folder=Config.STATIC_PATH)# socketIO包裝appsocketio = SocketIO(web_app, cors_allowed_origins="*", logger=True)# 可監(jiān)聽連接和斷開@socketio.on('connect')def handle_connect(): print("connect")@socketio.on('disconnect')def handle_disconnect(): print("disconnect")# 本地啟動appif __name__ == '__main__': socketio.run(web_app, address, port, allow_unsafe_werkzeug=True)在socketIO中調(diào)用emit(event, *args, **kwargs)方法即可給指定目標(biāo)(event，本項目對應(yīng)為user)發(fā)送消息。
我們通過function calling獲取到對應(yīng)插件時，如果是同步插件，則立即執(zhí)行對應(yīng)函數(shù)，如果是異步插件，應(yīng)該異步開啟執(zhí)行對應(yīng)函數(shù)，并立馬結(jié)束當(dāng)前會話，等異步函數(shù)執(zhí)行完成后主動發(fā)送消息給前端用戶，因此我們需要修改一下上面的插件代碼：
def main(user, question): """使用插件時回復(fù)文字""" ...代碼同上 # 使用反射機(jī)制獲取插件對應(yīng)的函數(shù)對象 func = getattr(Functions, plugin_name) # 判斷插件是否同步 if plugin['sync']: # 同步的插件，直接調(diào)用函數(shù) res = func(**arguments) else: # 異步的插件，這里使用線程池示例執(zhí)行異步任務(wù) thread_pool = ThreadPool(3) # 定義回調(diào)函數(shù), 接收到結(jié)果后推送給前端 def callback(result): # 推送給前端 socketio.emit(user, f"任務(wù)結(jié)果為: {result}") # 異步調(diào)用 res = thread_pool.apply_async(func, kwds=arguments, callback=callback) return res4.1 更多的插件
上述插件案例只是插件功能的冰山一角，通過該功能我們可以定義各種實用的插件，目前攜程信息安全部的大語言模型智能聊天機(jī)器人只是支持一些基本的插件，也歡迎大家給我們提出寶貴的建議，集思廣益，一起開發(fā)出更多實用好用的插件。
4.2 每個用戶的自定義插件
目前的插件功能可以支持我們這些項目的開發(fā)者實現(xiàn)自定義插件，這些插件也必須提前寫入項目中，并不能支持終端用戶直接自定義自己的插件。后續(xù)我們會調(diào)研可行性方案，讓終端的用戶自己編寫對應(yīng)的插件代碼，實現(xiàn)每個用戶都能定義自己的插件。
本文鏈接：http://m.www897cc.com/showinfo-26-69004-0.html大語言模型插件功能在攜程的Python實踐
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請聯(lián)系：2376512515@qq.com 津ICP備18001702號
津公網(wǎng)安備 12010102000574號