GitHub 基於大語言模型構建 Copilot 的經驗和教訓

原標題：GitHub 基於大語言模型構建 Copilot 的經驗和教訓

作者 | Matt Saunders

譯者 | 明知山

策劃 | 丁曉昀

GitHub 在一篇文章中分享了他們在構建和擴展 GitHub Copilot——一個使用大語言模型的企業應用——過程中所學到的經驗教訓。

在 GitHub 的一篇博文中，GitHub 的 AI 產品負責人 Shuyin Zhao 描述了他們如何在三年多的時間裡歷經三個階段——「Find it」、「Nail it」和「Scale it」——成功推出了 GitHub Copilot。

在「Find it」階段，他們專注於找到 AI 可以有效解決的問題，通過一種足夠專注的方式快速推向市場，並且足以產生影響。

這包括確定到底是為了誰而解決問題——幫助開發人員更快地編寫代碼，減少上下文切換。此外，他們只關注 SDLC 的一部分：IDE 中的編碼功能，並結合當下的 LLM 的能力。這樣他們就可以專注於讓工具提供代碼建議，而不是生成全部代碼。他們還致力於確保他們所做的是對現有工具進行增強，不要求開發人員改變已有的工作流程。

「在設計產品時，我們不僅要考慮輸出需要人類進行評估的模型，也要考慮正在學習如何與 AI 互動的人類。」

——Idan Gazit，GitHub Next 高級研發總監

「在設計產品時，我們不僅要考慮輸出需要人類進行評估的模型，也要考慮正在學習如何與 AI 互動的人類。」

——Idan Gazit，GitHub Next 高級研發總監

在「Nail it」階段，他們基於從 A/B 測試中獲得的真實用戶反饋進行疊代式產品開發。他們進行快速疊代、試錯和學習。在使用 Copilot 的 Web 接口進行了簡短的實驗後，他們將重點轉向了 IDE，以減少在編輯器和 Web 瀏覽器之間切換，並讓 AI 在後台運行。在進一步的疊代中，通過觀察開發人員在編碼時打開的多個 IDE 選項卡，GitHub Copilot 可以同時處理多個文件。

隨著生成式 AI 的迅速發展，他們開始重新審視過去所做出的決策，技術的進步和用戶對它的熟悉程度有時會讓過去的決策變得過時。於是，提供交互式聊天的想法開始活躍起來，他們需要基於沉沒成本謬論改變決策，例如，當大語言模型的進步允許一個模型處理多種語言時，就需要改變為每種語言構建 AI 模型的想法。

最後，在「Scale it」階段，他們致力於確保 AI 模型結果的一致性、管理用戶反饋，並定義了關鍵性能指標，以實現應用程式的普遍可用性 (GA)。他們還考慮了安全性和 AI 責任問題，使用過濾器來避免為用戶建議不安全或具有冒犯性的代碼。

改進質量和可靠性方面的工作包括緩解大語言模型的幻覺，即答案可能是不可預測的，並且每次查詢都有所不同。解決這個問題的策略包括修改發送給大語言模型的參數，以減少響應的隨機性，並緩存頻繁的響應以減少變化和提高性能。