生成式人工智慧，特別是大語言模型（LLM，large language models），將在軟體開發等方面發揮關鍵作用。
對於在機器學習操作方面打下基礎、對於企業有效部署和擴展語言模型，生成式人工智慧的廣泛使用可謂至關重要。在這個未知的領域，不當的管理可能會引發工作流程出現難以處理的複雜性。
為了開發和擴展企業級大語言模型，成功的機器學習操作計劃包含以下核心特徵。首先是始終如一地部署機器學習模型，用標準化的流程和控制措施監控模型的變化、數據和特徵質量。
企業應該能夠複製和重新訓練機器學習模型，通過質量保證和治理流程進行部署，從而無需大量人工工作或重寫。最後，應該確保機器學習基礎設施是有彈性的，比如保證多區域可用性和故障恢復、持續掃描網絡漏洞、並對其加以妥善管理。
當這些工作就位之後，大語言模型還會面臨更複雜的挑戰，需要細緻入微的方法和考慮，包括基礎設施、能力、風險解決方案和人才儲備。
使用傳統機器學習模型進行推理，通常涉及將模型打包為容器，並將其部署在推理伺服器上。隨著對模型需求的增加，比如更多的使用請求、更多的客戶和更多的運行決策，擴展模型所需要做的就是添加更多的容器和伺服器。
在大多數企業的設置中，CPU 可以很好地進行傳統模型的推理。但是，託管大語言模型是一個複雜得多的過程，其需要額外的考量。
大語言模型由 token 組成，即文本的基本單元，模型用它來生成類似人類的語言。它們通常基於先前生成的標記，預測的方式是以自回歸的方式逐個標記，直到到達一個停止詞。
這個過程很快就會變得很麻煩：生成 token 的過程要根據模型、任務、語言和計算資源而變化。部署大語言模型的工程師不僅需要基礎設施經驗，例如在雲上部署容器，還需要了解最新的技術以保持推理成本可控，並能滿足性能服務等級協議。
在企業環境中部署大語言模型，意味著必須建立向量資料庫和其他知識庫，並讓它們與文檔存儲庫和語言模型實時協同工作，以產生合理的、與上下文相關的準確輸出。
例如，零售商可以使用大語言模型通過消息傳遞接口與客戶進行對話。該模型需要訪問存有實時業務數據的資料庫，以調用最近的交互信息、產品目錄、對話歷史、退貨政策、最新促銷和廣告、客戶服務指南和常見問題的解答。
這些知識庫正在越來越多地發展為矢量資料庫，以便通過矢量搜索和索引算法對查詢進行快速檢索。
（來源：AI 生成）
大語言模型還面臨一個額外的挑戰：針對特定的企業任務進行微調以獲得最佳性能。大型企業級語言模型可能有數十億個參數，這需要使用比傳統機器學習模型更加複雜的方法，包括具有高速網絡接口的持久計算集群、用於訓練以及微調的 GPU 等硬體加速器。
一旦訓練完畢，這些大語言模型還需要多 GPU 節點來進行內存優化和分布式計算的推理。為了滿足計算需求，企業需要在專門的 GPU 集群或其他硬體加速器上進行更廣泛的投資。
這些可編程硬體設備可以被定製，以便實現特定的計算能力，比如矩陣向量運算。而公共雲基礎設施是這些集群的重要推動者。
風險管控，在模型的整個生命周期中是至關重要的。可觀察性、日誌記錄和操作追蹤，是機器學習操作過程的核心。它們有助於監控模型發布後的準確性、性能、數據質量和漂移，但是還需要考慮額外的基礎設施層。
大語言模型可能會產生「幻覺」，它們偶爾會輸出錯誤的內容。企業需要適當的保護措施，比如規定好特定的格式或策略，以確保大語言模型在真實應用中返回可接受的回答。
傳統的機器學習模型依賴於定量的統計方法，來解決模型不準確和使用時的漂移。對於大語言模型來說，這會變得更加主觀。它可能涉及到對模型輸出進行定性評分，然後在帶有預設護欄的 API 上運行它，以確保得到一個可接受的答案。
企業對大語言模型的治理將是一門藝術和科學，許多組織仍在學習如何將它們納入可操作的風險閾值。隨著新進展的迅速出現，嘗試開源和商業解決方案是明智的，這些解決方案可以針對特定用例和治理需求進行定製。
而這就需要一個非常靈活的機器學習平台，特別是以高度抽象為基礎的控制台，並與更廣泛的生態系統保持同步，而不會影響其用戶和應用程式。
Capital One 公司認為，構建一個可擴展的、管理良好的、具有高抽象水平和多租戶的平台控制台，對於滿足這些需求至關重要。
根據訓練數據規模和生成的 token 的不同，大語言模型的性能可能會有很大差異。訓練或微調非常大的模型，並在真實環境中大規模地為它們服務，是一項重大的科學挑戰和工程挑戰。這要求企業必須招聘和留住大量的人工智慧專家、工程師和研究人員。
例如，對於一個向數萬名員工提供服務的虛擬助手來說，當為其部署大語言模型和矢量資料庫時，意味著需要將各種領域的工程師聚集在一起。還需要部署量身定製的提示（prompt），以提供準確的答案，而這需要複雜的專業知識。
此外，人工智慧專家的能力儲備也需要跟上最新的發展，以便建立和微調模型。任何人工智慧項目的長期成功都涉及到將數據科學、研究、設計、產品、風險、法律和工程專家結合起來，這些人才和經驗會將人類用戶置於中心。
雖然企業大語言模型仍處於早期階段，新的技術能力每天都在發展，但成功的關鍵之一是擁有堅實的機器學習設施和人工智慧基礎設施。
人工智慧將繼續快速發展，尤其是在語言模型領域。這些進步有望以前所未有的方式進行變革。與任何新興技術一樣，潛在的好處必須與管理良好的操作實踐和風險管理相平衡。
有針對性地、全方面地考慮整個模型的機器學習操作戰略，可以提供一種全面的方法，從而加速實現更廣泛的人工智慧功能。
支持：Ren