數據管理並不是一個新領域，從企業建立數據倉庫開始，數據管理這個詞就已經存在。只不過，在傳統數據整合工具及技術架構下，「讓用戶使用數據像使用水和電一樣簡單」，還僅是一個美好願景，很多企業距離這個目標相差十萬八千里，這給技術創新帶了新的契機。尤其是，隨著企業數字化轉型步伐的加快，數據的互聯互通成為剛需，越來越多的企業希望打通企業的關鍵數據源，構建自己的護城河。
為用戶解決一切複雜的數據處理過程，從源頭上打造更簡單易用、方便快捷的 「煉油廠」，Fivetran與Tapdata都是在這樣的背景下誕生！
異軍突起，創造性成果的開端總相似
2012年，在Hadoop還處於大數據革命暴風眼時刻，一家專注於打造「數據管道」的公司「異軍突起」，這家公司就是來自大洋彼岸的Fivetran！憑藉不同於Hadoop、AWS Athena的數據湖路線，使用SQL（被廣泛支持的數倉語言）統一用戶的Transform、Analytics卓越體驗，Fivetran被稱為是當時的ETL新派玩家。
十年之後，Fivetran已是福布斯未來獨角獸上榜企業，擁有56億美元估值。憑藉ELT+E獨特的數據整合能力，Fivetran不僅與Snowflake、IBM、SAP、Oracle資料庫或數據倉庫實現了連接，還與ASICS、Autodesk、DocuSign等世界知名公司建立了合作夥伴關係。
在中國，也有這樣一家公司，試圖在實時數據服務領域打造具有自主智慧財產權的「中國方案」。Tapdata，相信圈內人士並不會感到陌生！
像自來水管一樣連接數據，當業務有需要，擰開水龍頭（Tap），就能得到新鮮的數據，Tapdata已成為實時數據服務的「代名詞」。憑藉獨特的DaaS 架構理念，Tapdata可以讓源和目標庫之間的數據達到最高亞秒級延遲，並提供合併、清洗、轉化，以及數據建模、治理等實時的數據處理能力，最終讓用戶以低代碼作業的方式實現數據發布。
Tapdata的核心成員主要由海歸人士、國內知名技術專家組成。公司創始人唐建法曾是MongoDB 大中華區首席架構師、現任MongoDB 中文社區主席，也是開源項目 Angoose 的作者。除了創始人身份不凡，團隊的其他核心成員，也都來自業內知名企業，包括Oracle、百度、阿里、騰訊等。
Tapdata成立於2019年9月，雖然還不到三年，但經歷了三輪融資。首輪千萬融資來自極客公園旗下變量資本等投資機構；2021年，公司獲得五源資本獨家領投及XVC、德聯資本聯合領投的數千萬美元 PreA 及PreA+輪投資。2021 年，Tapdata已經實現超過千萬的營收，為中國移動、中國一汽、周生生、中國聯通、南方電網、中國建築等大型企業提供了專業化服務。
可以說，無論是從發展歷程、產品服務、業務模式，還是從資本實力和增長方式來看，兩家公司都有太多的相似之處。很多人可能會問，兩家公司快速成長的背後推動力是什麼？什麼才是數據集成類企業的生命力？究其根本，「簡化數據管理，讓數據流動起來」，應該是新興數據集成類企業的共同成長基因，也是在群雄逐鹿的市場競爭中能夠脫穎而出的秘密武器。
另闢蹊徑，Tapdata 搶占實時數據服務賽道先機
至於，Tapdata為什麼敢於對標Fivetran，自然有自己的獨特之處！
Tapdata 與 Fivetran，雖然兩家公司成立時間不同，但都是新數據技術背景下孕育出來的優秀公司，都在打造靈活、易用以及極度高效的」「數據管道」 。只不過，Tapdata的核心理念是「數據即服務」，比「數據管道」的理念要更進一步，讓客戶從關注管道如何建設的層面，上升到只關心需要哪些數據、如何用好這些數據，Tapdata可以實時地將數據送達到客戶指定的任何應用場景上。簡單理解，Tapdata不僅解決了企業的數據孤島問題，還能讓數據價值得以釋放！
另外，兩家公司的產品策略不同，打法也不一樣。Fivetran 主打的業務場景是雲上數倉，也就是從雲業務開始起步，主攻數據倉庫這個賽道；而 Tapdata 是從打造本地化的 DaaS 實時數據服務平台開始，重點是實時數據的集成與開發。
大體來看，DaaS 還是一個新興領域，只有美國的 Dremio 和 Tibco 推出了類似業務，但這兩家企業只是把實時 DaaS 當作眾多產品線中的一個分支。所以，嚴格來說，主推面向OLTP（Online transaction processing）場景的實時 DaaS 架構並擁有完整團隊的企業，Tapdata 其實是業內第一家。尤其在國內，致力於實時數據領域的企業更是鳳毛麟角。目前，Tapdata 正在持續鞏固實時數據賽道領跑者地位，實時集成能力已經涵蓋了主流的資料庫、消息中間件、雲上資料庫以及國產資料庫等，並投入更多資源來打造開放平台以支持未來數以千計的數據源。
Tapdata 能將多源異構數據在亞秒級內為完成集成&處理，並實時為下游 AP 或 TP 業務供數
當然，之後的發展過程說明，從哪裡起步並不重要，重要的是最終目的地是哪裡。為了具備關鍵業務流程整合能力，Fivetran 收購了 HVR，補齊其實時數據能力；而 Tapdata 在此之前就更聚焦實時數據，擁有包括基於日誌的實時同步管道，低代碼流式數據開發和數據 API 服務三大能力模塊。相較於Fivetran 從 ETL/ELT 開始，專注為數倉以批量方式提供數據，Tapdata 更關注高價值數據的實時服務，而數據管道本身的搭建則是順帶提供的服務。
值得一提的是，在 OLTP 核心業務處理能力上，Tapdata 的數據處理能達到亞秒級。比如：Oracle 資料庫的數據在源頭髮生了變化，在零點幾秒的時候，數據已經同步到主數據平台，完成了整個數據的更新，並且對外提供服務。所以，技術架構的變化，不僅為業務帶來高時效性，也帶來了商業模式的重大革新。
成功的第一步——選對賽道，Tapdata已經做到了。
然而，如何成為實時數據賽道的No1？除了技術實力硬核、產品經受市場廣泛驗證以外，能否被上下游用戶及夥伴普遍認知和應用，也是一項重要評判標準。Tapdata 的戰略是，秉承「開源、開放」原則，從而加速 DaaS 的普及，只是，Tapdata沒有直接開源，而是在國內率先推出 Tapdata Cloud ，將異構數據實時同步能力以免費開放的形式，為用戶提供開箱即用的 SaaS 服務。
免費+雲化，Tapdata Cloud 成為國內實時數據同步的No1
「如果說商業化是最終目標，那『開源』和『開放』就是兩個重要抓手。」Tapdata產品合伙人徐亮 解釋道，Tapdata Cloud 的核心理念是開放，讓一些技術實力不足的公司或者用戶，能夠快速、方便地打造數據管道，實現數據實時同步目標。
、
通過 Tapdata Cloud 實現異構數據的實時同步
對大多數用戶而言，使用 SaaS 同步工具首先會考慮數據的安全問題。如何讓數據不經過雲平台網絡，讓源數據直接到目標數據？這歸功於TCM （Tapdata Cloud Manager）+ Tapdata Agent 架構，Tapdata Agent 可以運行在用戶提供的伺服器上，並且通過TCM的調度，在用戶可控的網絡環境下自動同步和處理數據。
Tapdata Cloud 的 TCM + Tapdata Agent 架構
也就是說，Tapdata 的 Agent 能夠部署到用戶本地的環境里，進而全面確保用戶的數據安全，不管是伺服器，還是數據，都不會暴露在外部網絡上，這也是雲化模式下用戶確保數據安全性的特有架構。在部署結構上，我們可以理解為是一個私有雲環境，但是會和 TCM 之間有一個單向的通信，把一些程序、狀態類的信息報上去，解決應用需求問題，但數據會留在本地。TCM主要的工作就是管理，用戶可以在平台上註冊，定義自己的任務，等到真正執行同步任務的時候，所有數據都在用戶本地流轉。
如此一來，Tapdata Cloud 「TCM + Agent 架構」不僅最大化支持了異構數據的同步（包括全量同步、增量同步、斷點續傳等），還能在全面確保數據安全的前提下，以在線服務的方式提供給用戶使用，0代碼可視化的操作介面，哪怕是業務人員也能快速上手使用，不需要專業的編程能力。
至於，Tapdata Cloud為什麼要免費？最終目標其實還是要實現商業價值轉化。
簡單理解，Tapdata Cloud 的目標客戶是中小企業CIO以及業務層人員；Tapdata 開源版本（即將發布），面向的用戶是技術專家級別，開發人員可以基於源碼進行應用構建。而免費，可以快速影響潛在用戶，讓不同人群全面接觸Tapdata，構建符合自己業務需求的應用場景。
目前，Tapdata Cloud已正式對外開放，用戶在官網註冊 Tapdata Cloud帳號，即可通過 SaaS 管理後台在用戶本地網絡環境部署 Tapdata agent ，從而實現異構數據免費實時同步。相對於同類產品，Tapdata Cloud 的落地速度更快，用戶不需要維護，直接使用即可。
從2021年10月份公測以來，Tapdata Cloud已經有幾千家企業用戶在測試和使用，包括電商企業、社區團購、智能交通、營銷傳媒、SaaS軟體企業等。主要解決跨系統之間的數據實時同步/備份/遷移、集成和實時分析等問題。比如常見的場景有：
- 複製生產資料庫：為減少對生產環境數據的影響，以無感方式實時鏡像生產庫數據；
- 加速數據全文搜索：將關係型資料庫實時同步到 ElasticSearch 實現高效全文檢索；
- 不停機遷移資料庫：全量+增量數據同步，可將停機遷移時間降低到分鐘級；
- 構建只讀實例：將讀請求分流至只讀實例中，分擔主資料庫實例的壓力；
- 構建實時數倉：讓數據實時、流暢地在業務系統和運營系統中流轉；
- 構建雲上雲下/多雲數據生態：將開發和生產數據、主數據和數倉等，根據最優選擇放置在多雲或雲下環境。
那麼，具體而言，用戶是如何使用Tapdata Cloud？又是如何實現商業化轉換的呢？
以某國內龍頭工程機械製造企業為例，企業對數據及應用有嚴格的安全要求，如何選擇適合企業的產品？ 他們會基於 Tapdata Cloud 進行測試，等到功能和場景基本滿足後，最終產生了使用企業版的需求。而對於數據規模不大的企業來說，比如一天只有幾十萬或者上百萬條，就會把業務直接跑在Tapdata Cloud 上。
結語
儘管，在實時數據服務領域，既有傳統管理軟體企業，又有後來的新興公司，甚至一些提供雲服務的企業也在躍躍欲試，但在新的技術架構和應用工具下，尤其在實時、DaaS架構下，Tapdata沒有一家可以直接競爭的對手。
相對於 Fivetran 的「數據管道」模式，Tapdata 正創造性地將實時數據融合和實時數據應用相結合，為用戶提供數據即服務（DaaS），並且把具有自主智慧財產權、業界領先的「中國方案」向用戶開放，讓數據同步不再是單一的複製，而是可以基於實時數據實現更多業務創新的可能。尤其企業應用上雲後，業務場景變得更加複雜，如何實現各種異構數據的實時打通、高效應用，將成為新挑戰。而 Tapdata 正憑藉更廣泛的連接和實時處理能力、實時數據發布能力，逐步改變用戶的使用習慣，不再通過複雜的開源工具自己去開發，而是通過像 Tapdata 這樣的平台，進行低代碼、可視化地進行數據開發，極大地降低了數據準備階段的難度和精力，從而最大化挖掘數據價值。
至此，Tapdata已經給出了適應未來十年的下一代數據集成架構方案。
文章來源: https://twgreatdaily.com/5a3ff5f659218c29bdc0879be37f2733.html