作者 | 魯冬雪
生成式 AI （Generative AI）已經成為全球範圍內的一個重要趨勢，得到越來越多企業和研究機構的關注和應用，生成式 AI 的全球市場正在迅速擴大，據 IDC、摩根大通等多家研究機構數據預測，預計到 2025 年，全球生成式 AI 市場的規模將達到 110 億美元，年復合增長率超過 50%。
各大科技公司紛紛投入巨資開展生成式 AI 技術的研發和應用，紐約時間 7 月 26 日，亞馬遜雲科技資料庫、數據分析和機器學習全球副總裁 Swami Sivasubramanian 在亞馬遜雲科技舉辦的紐約峰會（下文稱「峰會」）上更是表示，「生成式 AI 技術已經達到臨界點。」
目前我們觀察到，隨著機器學習、深度學習等技術的不斷疊代，生成式 AI 的應用趨勢正朝著端到端的方向發展。端到端的生成式 AI 應用可以直接從原始數據中生成新的數據，而不需要進行顯式的特徵提取或手動設計生成模型，這大大提高了生成效率和生成質量。同時，端到端的生成式 AI 應用還可以更好地理解和控制生成過程和結果，從而提高其可解釋性和可靠性。
而本次峰會上亞馬遜雲科技宣布的「生成式 AI 創新"也是將「端到端」顯示的淋漓盡致，進一步降低了生成式 AI 的使用門檻，無論是業務用戶還是開發者都可以從中受益，來自千行百業的企業都能更專注於核心業務，提高生產效率，充分釋放數據價值和生成式 AI 的潛力。
1生成式 AI 的第一要務是「幫用戶解決生產問題」
說到底，生成式 AI 之所以可以被企業關注，其核心原因還是自於生產者的需求驅動，生產者需要提高生產效率和降低生產成本，而生成式 AI 技術可以幫助他們實現這個目標。例如，在一個工廠中，使用生成式 AI 技術可以自動生成最佳的製造流程，從而提高生產效率並降低成本等。正如 Swami 在紐約峰會上所說的，生成式 AI 的核心價值就是「通過生成式 Al 消除繁重的工作並提高生產力」。
在生成式 AI 技術的發展中，推動技術研發廠商不斷前進的動力就是用戶「既要又要還要」的業務需求和技術需求。在滿足用戶需求方面，亞馬遜雲科技是業內做的相當不錯的廠商，前段時間推出的 Amazon Bedrock 便是一大利器，通過 Amazon Bedrock，文本生成、聊天機器人、搜索、文本摘要、圖像生成、個性化情景式產品推薦等功能實例可以完美集成於應用中。
然而，只說功能多樣性，不拆解技術的硬核，這對於生成式 AI 研發廠商是不公平的。評價一個模型的好壞，我們要從多個維度去看。
從訓練和部署、架構擴展層面，一個好的模型需要易於訓練和部署、提高效率，並能夠隨著業務需求變化進行擴展和升級。Amazon Bedrock 提供可擴展的 API 和無伺服器體驗，客戶可以使用自有數據基於基礎模型進行定製，並使用熟悉的工具和能力進行集成和部署，無需管理基礎設施，降低成本。用戶還可以使用 SageMaker、Experiments 和 Pipelines 等功能實現模型的集成和自動化管理、部署。
在數據安全層面，好的模型需要具備安全的數據存儲能力，能夠保護用戶的數據不被泄露和濫用。而 Bedrock 非常注重數據的安全性和隱私保護，對所有數據都進行了加密，並且不會離開客戶的虛擬私有網絡（VPC）。此外，Amazon Bedrock 還提供了可配置的數據共享選項，客戶可以控制數據共享和使用，確保數據的完整性和機密性。
在模型選擇層面，一個好的模型需要具備豐富的模型選擇，能夠滿足不同領域和場景的需求。用戶需要能夠選擇適合自己業務的模型，並能夠靈活地組合和集成多個模型，以實現更好的業務效果。Bedrock 提供了豐富的的基礎模型選擇，滿足不同領域和場景的需求，使得用戶可以更加靈活地選擇和組合模型，滿足自身的業務需求：
- AI21 Labs 開發的的多語種大語言模型系列 Jurassic-2，可根據自然語言指令生成文本內容；
- Anthropic 開發的大語言模型 Claude，能夠執行多種對話和文本處理任務；
- Stability AI 開發的文生圖基礎模型 Stable Diffusion，能夠生成獨特、寫實、高清的圖像、藝術作品、商標和其它設計圖；
Anthropic 接入到 Amazon Bedrock 的最新語言模型 Claude 2，可以在每個對話任務提示中使用 10 萬個標記，能處理數百頁文本甚至整本書。相比之前版本，還可以撰寫長篇文件，長度可達幾千個標記；
- Stability AI 將發布最新版文生圖模型套件 Stable Diffusion XL 1.0，能夠生成更逼真的影視、電視、音樂和教學視頻，具有更精細的圖像和構圖細節。
- 亞馬遜雲科技新增的基礎模型供應商 Cohere 將提供更直觀地生成、檢索和匯總信息的基礎模型服務。
Anthropic 接入到 Amazon Bedrock 的最新語言模型 Claude 2，可以在每個對話任務提示中使用 10 萬個標記，能處理數百頁文本甚至整本書。相比之前版本，還可以撰寫長篇文件，長度可達幾千個標記；
本次峰會上，亞馬遜雲科技宣布全面擴展其全託管基礎模型服務 Amazon Bedrock，發布變革性的新功能 Amazon Bedrock Agents，該功能將助力開發者輕鬆創建全託管的 AI Agents，幫助開發者研發提效，解決開發過程中的複雜度問題。比如自動分解任務並創建編排計劃，無需手動編碼，開發者可以輕鬆創建基於生成式 AI 的應用程式，完成各種複雜任務；安全地訪問和檢索公司數據，通過簡單的 API 接口連接，自動轉換數據為機器可讀格式，增加相關信息生成準確回答；自動調用 API 滿足用戶請求，例如保險機構可以開發生成式 AI 應用程式，幫助員工自動處理保險索賠或管理文書；提供完全管理的基礎架構支持，消除了系統集成管理和配置工作，使開發人員能夠充分利用生成式 AI，實現「全託管」。
要知道，在幫助用戶構建自己的軟體應用程式方面，在生成式 AI 沒有步入舞台之前，低代碼和無代碼平台已經發揮了至關重要的作用，這些用戶很少具備或根本沒有編程知識。然而，隨著生成式 AI 的加入，這些平台的使用將達到一個臨界點，會產生全新的開發方式。
目前很多專業開發者開始使用 ChatGPT 進行軟體開發，事實表明 ChatGPT 可以為開發工作提供幫助，但在具體的業務場景中，開發者需要的不僅是可以編代碼的工具，而是從源頭降低軟體開發複雜度的工具。想要從源頭入手降低軟體的複雜度，就意味著開發者需要設計良好的架構、簡化功能和模塊開發、採用合適開發工具等方法，從而來減少軟體中的不必要的複雜度，提高軟體的可維護性、可讀性和可擴展性。而亞馬遜雲科技此次新推出的 Amazon Bedrock Agents 便有效解決了這些難題，是 Amazon Bedrock 的一大看點，也是生成式 AI 領域在降低開發複雜度的新節點。
2向量資料庫是生成式 AI 的基石
隨著大模型和生成式 AI 技術的高速發展，數據安全和數據自定義成為了技術發展的基礎，當前企業普遍比以往更為注重數據，數據已經成為企業的技術壁壘，與生成式 AI 結合的空間很大。
大模型和生成式 AI 需要大量數據訓練，這些數據需要預處理和自定義以滿足模型需求。同時，為確保數據的準確性和一致性，提高模型的準確性和效率，數據自定義要求越來越高。這意味著，以往只存儲結構化數據的企業資料庫已不能滿足需求，於是向量資料庫成為了全球資料庫發展的重要趨勢。
向量資料庫當前被視為生成式 AI 的基石，因為其存儲和處理的數據都是向量形式，而生成式 AI 模型則需要使用向量數據進行訓練和推理，它提供了高效的數據存儲和查詢方式，並且可以與深度學習框架無縫集成，這種集成使得生成式 AI 模型能夠更快地學習和生成更準確的數據。換言之，想要訓練好生成式 AI，那必須要深度發展向量資料庫技術。
生成式 AI 使用深度學習框架來學習數據中的模式，這些框架使用張量（即多維數組）來存儲和操作數據，而向量資料庫則提供了一種高效的方式來實現這種張量存儲和操作。向量資料庫使用向量索引和向量相似性算法來存儲和查詢數據，這種存儲和查詢方式非常高效，可以快速地執行類似「最近鄰」這樣的查詢，而這種查詢正是在生成式 AI 模型中非常常見的。
目前在研究大模型、生成式 AI 的廠商幾乎都在同時研究向量資料庫技術，基於生成式 AI、大模型的訓練場景，各家的技術成果目前幾乎沒有太大差距。然而在本次紐約峰會上，亞馬遜雲科技新發布的適用於 Amazon OpenSearch Serverless 的向量引擎讓人眼前一亮，正式可用後，該向量引擎支持簡單的 API 調用，可用於存儲和查詢數十億個 Embeddings。未來，所有亞馬遜雲科技的資料庫都將具有向量功能，幫助客戶簡化運營，方便集成數據。
Embeddings 是一種將文本、圖像、聲音等數據轉換為向量表示的方法以便於使用機器學習算法進行處理，目前在研發向量資料庫的廠商都在相關方面展開了探索。亞馬遜雲科技本次在該方面的新發布，完全是從用戶需求出發。
要知道，正常情況下的 Embeddings 應存儲在靠近源數據的位置，一系列因素都將影響企業如何選擇最適合自己的選項，比如當前數據存儲位置、對資料庫技術的熟悉程度、向量維度的擴展、Embeddings 的數量和性能需求等，因此亞馬遜雲科技為大家提供了三個選項滿足更高級的向量數據存儲需求：
- Amazon Aurora PostgreSQL 兼容版關係型資料庫，支持 pgvector 開源向量相似性搜索插件，對需要存儲和搜索大量向量數據的應用場景幫助意義很大；
- 分布式搜索和分析服務 Amazon OpenSearch，帶有 k-NN（k 最近鄰）插件和適用於 Amazon OpenSearch Serverless 的向量引擎，可以處理大規模的向量數據、提供高效的搜索服務；
- 兼容 PostgreSQL 的 Amazon RDS 關係型資料庫，支持 pgvector 插件，可以滿足企業日常對於 PostgreSQL 資料庫的兼容性和向量數據存儲需求。
由於向量數據通常具有很高的維度和稀疏性，採用傳統的存儲方式會占用大量的存儲空間，在向量數據存儲和查詢過程中，需要執行許多複雜的計算，所以如何對向量數據進行壓縮和優化、優化算法以提高計算效率是向量數據存儲技術領域持續探索的問題，而此次亞馬遜雲科技新發布的向量引擎也為解決這兩個技術壁壘提供了有力支持，同時從用戶的需求層來看，這也是向量數據存儲技術的新突破。
3生成式 AI 同樣需要「加速」
生成式 AI 作為一種強大的技術，目前已在多個領域展現出了巨大潛力。然而在實際應用中，儘管其強大的創造力和表達能力令人驚嘆，但生成式 AI 在「速度」方面仍有很大的進步空間。比如生成式 AI 的訓練和推理過程非常耗時，尤其是再處理大規模的數據集時，速度是其限制因素之一；在實時性至關重要的自然語言處理等領域，如果生成式 AI 無法在短時間內生成結果，用戶可能會感到沮喪甚至流失。總之，隨著虛擬現實、實時翻譯等越來越多創新場景的湧現，用戶對生成式 AI 的速度有了越來越高的要求。
GPU 作為專門用於並行計算的處理器，可以同時處理多個數據單元來提高計算速度。在生成式 AI 的訓練中，需要進行的大量矩陣運算和反向傳播等計算、處理大量的數據和模型參數，而這些計算任務均可以通過 GPU 進行並行計算，以達到加快計算速度，降低訓練時間的目的。這意味著，只要 GPU 選型選的好，那降低生成式 AI 的訓練成本、提高訓練質量就是分分鐘的事。
本次峰會上新發布的 Amazon EC2 P5 實例作為亞馬遜雲計算平台上的一種強大的計算實例類型，便很好地滿足了目前用戶在生成式 AI 訓練過程中的 GPU 需求。
Amazon EC2 P5 實例以其出眾的硬體配置提供了卓越的計算、存儲、橫向拓展性能，它搭載了 8 個NVIDIA H100 Tensor Core GPU，擁有 640GB 高帶寬 GPU 內存，同時提供第三代 AMD EPYC 處理器、2TB 系統內存和 30TB 本地 NVMe 存儲。同時，Amazon EC2 P5 實例還提供 3200Gbps 的聚合網絡帶寬並支持 GPUDirect RDMA，從而能夠繞過 CPU 進行節點間通信，實現更低的延遲和高效的橫向擴展性能。
大家需要明確的是，NVIDIA H100 GPU 具有新的轉換器引擎，可智能地管理和動態選擇 FP8 和 16 位計算，與上一代 A100 GPU 相比，可在 LLM 上提供更快的 DL 訓練加速。對於 HPC 工作負載，與 A100 GPU 相比，NVIDIA H100 GPU 具有新的 DPX 指令，可進一步加速動態編程算法。這種計算能力對於生成式 AI 模型中大量的矩陣計算和向量運算至關重要，與上一代基於 GPU 的實例相比，訓練時間最多可縮短 6 倍。通過利用 P5 實例的高性能計算資源，可以顯著降低訓練成本，加快生成式 AI 的處理速度。
為了能夠滿足生成式 AI 模型的大量訓練數據、模型參數及中間結果的大量數據存儲和加載需求，Amazon EC2 P5 實例還提供了大容量的本地存儲空間，使得我們能夠更高效地管理和處理大規模的數據集，在本地存儲的支持下，避免頻繁的數據傳輸和加載，從而進一步提升生成式 AI 任務的效率。
值得一提的是，部署在第二代 EC2 UltraCluster 中的 Amazon EC2 P5 實例，與上一代 UltraCluster 相比，該網絡結構可實現更大的規模、更少的集群網絡躍點和更低的延遲。UltraClusters 中的 P5 實例可以擴展到與 PB 級網絡互連的 20000 個 H100 GPU，並提供 20 exaflops 的聚合計算能力。
4端到端的生成式 AI「未來已至」
無論是完全託管式的 Amazon Bedrock，還是適用於 Amazon OpenSearch Serverless 的向量引擎、Amazon EC2 P5 實例，我們能看到的是，亞馬遜雲科技結合用戶需求在生成式 AI「端到端」方面的探索越來越深入。作為 GenAI 領域的技術領導者，亞馬遜雲科技憑藉先進的技術、龐大的生態體系、豐富的實踐經驗和可靠的安全性，為自己的用戶們提供了愈來愈全面的支持和幾近完美的解決方案來推動端到端生成式 AI 的發展。
Swami 在峰會上宣布」生成式 AI 技術已經達到臨界點「，這意味著它變得更加成熟和可靠。亞馬遜雲科技利用自己過往在深度學習框架、算法庫和工具等 AI 方面的探索經驗，與全球數千個合作夥伴和數據科學家合作，持續輸出完整、高效的 AI 解決方案，一心降低生成式 AI 的應用門檻，使更多人能夠享受到這項技術的益處。
除了已經提到的幾個亮點技術，在本次峰會上，亞馬遜雲科技還推出了其他四項生成式 AI 技術與應用——AI 編程助手 Amazon Codewhisperer 通過提供豐富的模型和算法庫來快速構建和訓練生成式 AI 模型，使得開發者能夠更輕鬆地進入生成式 AI 領域，並在圖像、語音和文本生成方面得到更好的支持和指導；亞馬遜雲科技將 Amazon Bedrock 的大語言模型能力與 Amazon QuickSight Q 的自然語言問答功能相結合，提供生成式 BI 功能，提高了數據分析的效率和易用性，同時結合數據可視化，Quicksight 將數據分析結果以更直觀豐富的方式展現，讓用戶更好地理解和利用數據。此外，亞馬遜雲科技還通過 Amazon Entity Resolution，賦能企業提升數據質量、獲取客戶洞察；推出 Amazon HealthScribe，利用生成式 AI 助力構建醫療應用程式。
一直以來亞馬遜雲科技致力於降低生成式 AI 門檻，使更多的人能夠輕鬆嘗試和應用這項技術。他們希望成為生成式 AI 的普惠領導者，讓更多的人從中受益。在峰會上，Swami 更是提到了生成式 AI 技術的發展需要「利用專門構建的 ML 基礎架構實現低成本、低延遲的目標」，而亞馬遜雲科技也確實是這樣做的——他們通過構建高效的基礎架構和提供靈活的計算資源，來支持生成式 AI 技術的發展，他們不僅提供了高性能的 GPU 實例來加速模型訓練，還推出了 Lambda 函數和 SageMaker 等服務，使得生成式 AI 模型的部署和運行更加簡便和經濟高效。
我們從本次峰會上的亞馬遜雲科技的新發布中不難看出，生成式 AI 的未來已經到來。為了共同推動技術的下一步演進，我們需要更多像亞馬遜雲科技這樣的廠商和所有用戶一起努力，相互學習、互相促進、攜手並進，為生成式 AI 技術的發展提供更多解決方案。