作為成本優化的一部分，我們總是需要找到一種方法來優化答案質量，同時還要儘可能將成本降至最低。通常，成本較高的模型往往是性能較高的模型，能夠給出比成本較低的模型更高質量的答案。模型間的一般關係如下圖所示；其中，FrugalGPT的性能以紅色明顯展示在圖表的頂部位置。

注意，論文中的圖1c（即上圖）基於HEADLINES數據集創建，其根據LLM準確回答問題的頻率對各種LLM進行了比較。

級聯LLMS實現質量最優化

利用模型之間的巨大成本差異，研究人員推出的FrugalGPT系統能夠依賴於一系列的LLM實現給用戶提供答案。簡單地說，用戶查詢從最便宜的LLM開始；如果答案足夠好，則查詢結束（返回答案）。但是，如果答案不夠好，則將查詢傳遞給下一個最便宜的LLM。

研究人員使用了以下邏輯：如果一個價格較低的模型答錯了一個問題，那麼價格較高的模型很可能會給出正確的答案。因此，假設價格越貴質量就越高，為了最大限度地降低成本，規定模型鏈的訂購順序是從最便宜到最昂貴。

論文中的圖2e展示了LLM級聯式示意圖。

很明顯，圖中展示的這種設置架構依賴於確定答案何時足夠好，何時不夠好。為了解決這個問題，作者創建了一個DistilBERT模型，該模型將接受問題和答案，然後為答案打分。由於DistilBERT模型比序列中的其他模型小得多（指數量級），因此與其他模型相比，運行它的成本幾乎可以忽略不計。

比查詢最佳LLM更好的平均質量

人們可能會自然而然地問：如果質量是最重要的，那麼，為什麼不查詢最好的LLM並研究如何降低運行最好LLM的成本呢？

當這篇論文發表時，GPT-4是作者們發現的最好的LLM；但是，GPT-4並不總是比FrugalGPT系統給出更好的答案！（眼尖的讀者會將其視為本文前面的成本相對於性能圖表的一部分）論文作者們推測，正如最有能力的人並不總是給出正確的答案一樣，最複雜的模型也不會。因此，通過使用DistilBERT對答案進行過濾，您可以刪除任何不符合標準的答案，並增加獲得優秀答案的幾率。

論文中的圖5a顯示了FrugalGPT優於GPT-4的情形。

因此，這個系統不僅可以降低成本，而且可以提高質量，而不僅僅是使用最好的LLM！

繼續研究節省成本問題

這篇論文的結果令人著迷。對我來說，這提出了一個問題，即我們如何在不必投資於進一步的模型優化的情況下進一步節省成本。

實現這樣的可能性的一種辦法是將所有模型答案緩存在向量資料庫中，然後在開始LLM級聯之前進行相似性搜索以確定緩存中的答案是否有效。這將通過用相對較低成本的查詢和相似性操作代替昂貴的LLM操作來顯著降低成本。

此外，這會讓你懷疑過時的模型是否仍然值得進行成本優化，就像你可以降低它們的每個詞元的成本一樣，它們仍然可以在LLM級聯上創造價值。同樣，這裡的關鍵問題是，在什麼時候通過在鏈上添加新的LLM來獲得遞減回報。

有待進一步研究的問題

隨著世界創造出更多的LLM，我們也越來越多地構建使用它們的系統，我們希望找到更加節約成本的方法來運行它們。本文討論的FrugalGPT論文為未來的開發人員創建了一個強大的框架，讓我非常想知道這個框架能走多遠。

在我看來，這個框架非常適合於基於不同用戶的答案統一型的一般查詢，例如導師型LLM。然而，對於答案因用戶而異的使用場景，例如充當客戶服務代理的LLM，評分系統必須知道LLM與誰交談。

總之，找到一個能為用戶特定交互而又節約成本的框架未來將是非常重要的。