再如細分場景下，例如教育，GPT做得再強大，也很難讓小朋友直接與其聊天、互動。

這些情況下單點AI應用就能發揮其優勢。

2.垂域AI產品，是不是拿著錘子找釘子？

薛彥澤: 垂域AI產品，是不是拿著錘子找釘子？為大模型找場景，還是從已有產品出發尋求AI賦能，您是哪一派？

程兆華: 從根本上說，需求不是被創造出來的。更通順的邏輯是，我們需要想有什麼樣的釘子存在，我可以拿錘子去敲。

開發大模型的過程就像是造錘子，鑄造的過程中模型會有能力上的丟失。如果我們試圖用一個通用的大模型去解決所有問題，肯定是不夠合適的。因此，拿著錘子找釘子的方法可能並不適用。所以說，我們的大模型探索了許多架構，比如MOE專家模型和向量檢索技術，去更好地解決細分場景下的問題。

薛彥澤: 那您覺得釘子體量多大才值得用錘子？

程兆華:從整體的商業價值上考慮的話，如果市場規模沒有達到幾十億，那麼使用大模型的成本就太高了。訓練一個大模型的成本至少是上百萬，而推理和優化的成本可能高達幾千萬甚至上億。因此，如果市場規模不夠大，我們很難收回成本，也就不值得去使用這樣的"錘子"。

3.自研垂直領域模型，好壞標準如何定義？

薛彥澤：打造一個垂域的大模型，肯定會遇到很多的挑戰，我們比較好奇模型的好壞標準是如何定義的？

程兆華:在做模型的時候，我們通常會說讓算法去定義模型的好壞，這包括模型的邏輯性、準確性、一致性、安全性和魯棒性等常用指標。

但是對於產品來說，我們更關注產品適合哪類用戶，我的產品怎樣更容易出圈。以苟蛋為例，我們會從用戶的角度，評判模型生成內容的趣味性、豐富性，用更多這樣的指標來描述用戶的主觀體驗。

在整個研發流程中，我們產品會成為一個拍板方，會從更感性的角度去考慮用戶的需要，通過疊代模型達到我們追求的效果。這是我們的基本思路。

薛彥澤: 我比較好奇，你作為項目牽頭人在跟算法或者技術同學討論這些case時，一般爭議點會在哪兒，怎麼解決？

程兆華:算法的同學可能會比較頭疼，他們不直接面向用戶，而且可能對該垂域了解不深。這就需要我們產品去做拍板，運營的同學提供用戶反饋，指出當前模型不滿足我們預期的點，針對特定的case再去拆解指標、去做優化。

隨著團隊的磨合，算法團隊也能根據用戶反饋，主動思考模型的疊代方向和方法的有效性。

薛彥澤: 可以分享一下具體的案例嗎？

程兆華:我們當時在去做對話的時候，剛開始經常遇到AI重複回答問題的情況，用戶已經提出新的問題了，AI還給出上個問題的答案，這嚴重影響了用戶體驗。

面對這種情況，算法團隊從技術角度出發，提出了增加重複性懲罰的策略，以降低AI的重複率。同時，我們也review了數據集，如果發現近期存在大量重複性數據，就需要對數據進行清洗，甚至說引入更多的數據去覆蓋bad case。

4.聊一聊AI產品負責人的OKR

薛彥澤: 程老師作為AI產品的負責人，您的OKR是什麼？

程兆華:我的OKR主要圍繞三個方面：

首先，最核心的一個部分是業務指標的提升，我們需要確保在AI研發上的投入能夠帶來實際回報。我們會對齊業務指標，比如新項目的拉流、時長和產品的DAU，我需要負責的是確保AI能力對這些指標有積極貢獻。

第二點是AI能力的建設，需要確保我們的AI能力保持領先，比如Sora推出後我們就需要考慮是否跟進視頻能力。這部分會創新性指標，需要與算法團隊合作，推動新能力的落地。

最後一部分與企業內部的團隊建設有關，我需要思考其他部門如何用好AI提高效率，並且構建一個高效的AI團隊。

薛彥澤：對於AI產品負責人，尤其咱們這樣To C的社交應用，用戶留存的指標達到多少算比較OK？

程兆華: 可以大概說一下，傳統的聊天場景次日留存一般很高，能達到50%以上。虛擬人對話一般會低一些，因此次留達到50%是一個比較高的要求。尤其這個領域已經卷了一年，供用戶選擇的產品不少，如果一個產品想要脫穎而出，日留存至少應該在40%到50%之間。

此外，我們還需要關注長流，七日留存率至少需要達到15%，甚至以上。

5.讓大模型的局限性被用戶接納，有何良方？

薛彥澤: 想聊聊大模型的局限性，例如幻覺、延遲等等，怎樣讓用戶接受一個無法盡善盡美的產品？

程兆華:所有的東西都是要找到一個「度」。在技術方案難以解決問題的前提下，我們會從產品層面進行包裝。

例如，如果一個虛擬客服形象可愛、聲音溫柔，即使犯了些小錯，用戶也更願意接受。對於延遲問題，我們可以通過添加"思考中"的狀態來模擬真人的思考過程，減少用戶的阻尼感。

在成本方面，我們需要考慮是否可以利用已有的模型，減少訓練成本。同時，我們可以通過緩存機制處理高頻問題。還可以考慮將大模型蒸餾成更小的模型，以減少部署和運行成本。

薛彥澤: 大模型蒸餾成小模型，怎麼調度，如何解決算力分配？

程兆華: 利用現有的技術架構來解決，我們我們會有一套判斷邏輯來決定哪些問題更適合由小模型來處理。

薛彥澤: 評論區有觀眾提問，大模型的魯棒性該如何評估？

程兆華:魯棒性就是模型的統一性。例如，前面的信息說A是B的姐姐，那麼整個對話都應該輸出一致的答案。

提升魯棒性的最佳方法之一是通過數據構建，通過構建攻擊性問題，在case中變著花樣去問，然後喂給這個模型，它的魯棒性就會提高。

此外，在強化學習階段，特別是在知識類場景中，採用如PPO（Proximal Policy Optimization）等強化學習算法，可以有效地提高模型的魯棒性。大概是這兩種方法。

6.如何培養自己的大模型話語權？

薛彥澤: 下個問題，如何培養自己的大模型的話語權？

程兆華:對於一個去做大模型的產品來說，培養大模型的話語權，我認為關鍵在於兩個方面：

一是提升自己對大模型技術的了解廣度，不僅要跟上新技術的發展，還要理解這些技術如何應用在不同場景中。

二是提升自己對業務的了解深度，特別是業務如何與大模型技術結合。如果你不玩社交軟體，不熟悉你的產品功能，就很難理解大模型是用來解決什麼問題的。比如，Soul的社交內容更偏男女生互動，這就與抖音等平台的娛樂、萌寵等內容有差異，理解這些才能更好地將技術應用於業務場景。

薛彥澤: 雖然每個人都會思考，但是大多數人很難想得很深，你有沒有什麼經驗？

程兆華:我覺得可以分為三部分來談：思考深入並非憑空產生，而是需要持續的輸入和實踐。我的經驗可以概括為三點：

首先是廣泛輸入，思考並非是憑空出現的。我的手機中裝有數百個競品App，我會觀察大家都是怎麼設計功能的，大量的競品應用，體會產品間的差異點，能找到更多可能性。

其次是保持思考的習慣，日常使用產品、玩遊戲的時候，我都會思考其設計和交互能否更好，理解設計背後的理念和用戶需求。

最後需要親身體驗，比如現在負責AI虛擬陪伴產品，我會花費大量時間與虛擬角色互動，「臥底」到用戶社群，甚至競品的社群，從中獲取用戶反饋和期望。

其實深度的提升是一個刻意練習的結果。用商業化來舉例，可以看到不同的商業模式，去探究它們是如何構建和運作的。慢慢就會在生活的方方面面，養成習慣思考現象背後的行為動機。