如何切換 OpenAI 模型確定性

在先前的部落格《LangChain LakeFS Loader 介紹》和範例 Notebook中,我們解釋並展示了 LakeFS 與 LangChain 和 LLM 模型(特別是 OpenAI 模型)的整合。在本部落格中,我們將探索 OpenAI 的一項新測試功能,該功能可實現模型的可重複回應。

介紹語言模型是隨機模型

隨機是指隨機或機率過程),這意味著它們的行為本質上是非確定性的,並且涉及機會或機率。它們根據機率分佈而不是確定性規 則產生輸出。這使得解析它們的輸出變得更加困難,因為輸出每次都可能不同。

對於一般的會話應用程式來說

這並不是一件壞事,因為 南非 WhatsApp 號碼數據 模型得到了改進,回應也得到了改進,而且靈活性水平對於任何聊天機器人或語音機器人實現來說也很方便,因為不需要訊息抽象層。

但確定性一直是使用者社群

在使用法學碩士時的一大要求。例如,當被授予獲得確定性數值結果的能力時,使用者可以解鎖相當多對數值變化敏感的用例。

WhatsApp數據

確定性輸出的模型級控制

現在,OpenAI 透過允許您存 快速且精選:實體如何幫助您在 4 分鐘內征服片段 取種子參數來提供對確定性輸出的一些控制。 OpenAI 始終在回應中包含system_fingerprint ,以幫助開發人員了解系統中會影響確定性的變化。

要透過 OpenAI API 呼叫接收

大部分)確定性輸出,您可以:

將種子參數設定為您選擇的 香港新聞 任何整數,並在您想要確定性輸出的請求中使用相同的值。
確保所有其他參數(如提示或溫度)在請求之間完全相同。

在回應中,檢查system_fingerprint欄位

系統指紋是 OpenAI 伺服器用於產生補全的當前模型權重、基礎架構和其他配置選項組合的識別碼。每當您更改請求參數或 OpenAI 更新為其模型提供服務的基礎設施的數位配置時(這種情況可能每年發生

幾次),它都會發生變化

如果種子、請求參數和 system_fingerprint 在您的請求中全部匹配,模型輸出將基本相同。由於電腦固有的非確定性,即使請求參數和 system_fingerprint 匹配,回應也有可能不同。

例子如果您想自己運行

此範例,請轉到OpenAI Playground並輸入相同的用戶訊息兩次。我們在範例中使用了「什麼是lakeFS」使用者訊息。正如預期的那樣,我們收到了不同的不確定性回應。

返回頂端