譯者 | 布加迪
隨著許多公司日益受到數據和軟體的驅動，技術領導者要求縮短數據生成時間與數據使用時間之間的延遲差距。我們在許多行業和用例中看到了這一幕：
- 零售和金融服務中的欺詐預防，包括支付處理
- 零售、遊戲和廣告中的個性化
- 運輸路線優化
- 緩解網絡安全中的突發威脅
如果數據移動出現延遲，所有這些例子都會釀成嚴重後果，所以縮短總的行動時間以保持競爭力就很重要。
本文將著重介紹一個用例：將數十億個數據和數千家公司在短短几毫秒內聚集在一起，以做出即時決策：實時在線廣告競標。
廣告界有句老話：「我花在廣告上的錢有一半是浪費的；問題在於，我不知道是哪一半。」而在數字時代，獲取數據容易得多。比如說，廣告交易平台可以匿名分享這個信息：某網站的訪問者最近訪問了StubHub和Lionel Messi的Instagram頁面。在該頁面上為國際邁阿密球隊的球衣做付費廣告是值得投入的，而且比為其他球隊或運動項目的球衣做沒有針對性的廣告更有可能吸引滿意的客戶。
像這樣的交互（評估、購買和投放廣告的決定）在幾毫秒內發生，每天發生數百萬次。這些交易的關鍵是數據的自由流動，以便及時做出行動，實時資料庫和流數據平台常常提供了便利。不妨看看需求方平台（DSP）如何使用流數據平台Redpanda和實時資料庫Aerospike來實施解決方案，從而在快節奏的實時競標環境中取得成功。
Aerospike簡介
Aerospike是一種實時資料庫，可以攝取、存儲和檢索數據，每秒處理數百萬個事務（TPS）的吞吐量，延遲時間不到1毫秒。事件流是攝入到Aerospike資料庫中的常見數據源之一。Aerospike可以直接或通過連接件將事件攝取到Redpanda、Apache Kafka及Apache Pulsar等流數據平台。
這種情形很常見：將數據從流主題攝取到Aerospike中，對該數據進行多次評估，並將數據發布到另一個主題，這一切都在幾毫秒內完成。在廣告技術領域，Aerospike的一個關鍵用例是充當用戶簡檔存儲系統。這個存儲系統擁有大量關於個人用戶的匿名信息，從偏好到過去的交互，不一而足。
Redpanda簡介
您可以把Redpanda想像成一個重新構建的Kafka。Kafka是最受歡迎的流平台之一，可確保在線生態系統的各部分之間無縫聯繫。Redpanda使用Kafka API來確保與現有生態系統兼容，但它是用C++從頭開始重寫的，以最大限度地提高現代硬體的利用率。Redpanda的賣點之一是，它能夠可靠地處理大容量峰值，平均每秒支持高達數GB的數據。
實時競標中的需求方平台
為了理解DSP如何適應廣告技術領域，我們需要了解實時競標（RTB）。在RTB中，廣告商競相在網站上實時展示廣告，這需要供應方平台（SSP）、DSP、網站和廣告交易平台之間的複雜互動。DSP扮演著至關重要的角色，它們代表廣告商，瞬間做出廣告位競標方面的決定。DSP必須通過快速處理數據、瞄準正確的受眾以及優化競標以贏得拍賣，從而使自己與眾不同。
圖1. 實時競標概覽
DSP的實時數據架構
在DSP的互聯世界中，多個關鍵數據組件發揮作用：用戶簡檔、可用廣告位、歷史數據和廣告創意。DSP需要根據可用數據快速創建潛在用戶的簡檔，評估來自SSP或廣告交易平台的廣告位機會，以及設計符合用戶偏好和當前活動的競標。這個過程需要有效的數據移動和快速決策。
這時候Redpanda和Aerospike就有了用武之地。Redpanda提供了一種高性能的流引擎，使數據量的塊峰值能夠在幾毫秒內通過DSP的內部環境移動以及跨廣告技術生態系統的其餘部分移動。Aerospike充當數據歷史保管員，提供快速檢索數據查詢的功能，比如用戶、設備和會話。它能迅速檢索用戶簡檔和過去的交互信息，使DSP能夠根據個人喜好設計競標。
圖2. DSP的實時數據架構
如圖2所示，DSP整合了來自廣告交易平台和發行方的信息，比如可用的廣告格式、匿名化的用戶興趣和地理位置數據。一些DSP僅留出10毫秒的餘地來加載所有這些數據，為它們的競標流程提供信息。Aerospike可以在1毫秒內攝取數據，通常會直接連接到廣告交易平台的API。
在許多例子中，數據生產者與數據消費者實現脫離更有意義。在這種情況下，Aerospike可以使用其Kafka連接件將廣告交易平台數據發布到Redpanda主題，使DSP內的多個服務能夠訂閱該主題。比如說，一項定價優化服務可以利用關於目標用戶的歷史信息來豐富新的實時數據，從而幫助預測即將到來的競標的廣告支出。
Redpanda提供了Kafka API，可以穩定地提供低至5毫秒的p50延遲。一些DSP的外部數據將直接進入到Redpanda的主題，比如關於廣告印象和競標結果的數據。Aerospike還可以是任何這些主題的訂閱者，因為它擴展了歷史資料庫。
DSP利用Kafka API快速處理入站數據、評估廣告機會並生成競標。實時競標環境要求速度、準確性以及處理巨大數據流的能力。Aerospike和Redpanda的結合既提供了實時數據流，又提供了幾乎即時地檢索過去數據的功能，以幫助DSP做出量身定製的明智競標。這種數據的流動和整合確保了競標請求、廣告機會和決策無縫流動，從而實現及時的廣告投放。
結論：駕馭實時領域
在動態的實時競標領域，需求方平台（DSP）依賴強大的現代平台和高效的工具，在短短几毫秒內移動和匯總不同的數據，最終為客戶設計最佳競標。在一個這樣的架構中，Redpanda的高性能Kafka API與Aerospike快速檢索用戶簡檔的功能相輔相成，確保DSP擁有它們需要的所有信息，以便設計對用戶而言高度個性化的實時競標。有了這種平台，DSP可以靈活而精確地駕馭複雜的實時競標生態系統，為成功的廣告投放和豐富的用戶體驗鋪平道路。
原文標題：Implementing High-Performance Ad Tech Demand-Side Platforms，作者：Daniel Landsman