日前,由 StarRocks 社區發起、鏡舟科技主辦的 StarRocks 年度大型技術交流峰會 StarRocks Summit 2023 成功舉行。本次峰會以「極速進化,融合『新』生」為主題,來自平安銀行、華潤、騰訊遊戲、阿里雲、伊利、美的、京東等頭部企業的大數據專家圍繞數據進化、需求進化、技術進化,細緻講解大數據分析的新技術與實踐。
據悉,這是 StarRocks 第三次舉行年度技術交流峰會,到場的企業中既有騰訊、阿里、京東等在去年峰會上分享過經驗的網際網路「老面孔」,也有不少來自金融、製造、零售等行業的新面孔,比如伊利、平安銀行、芒果TV等。
作為一款技術領先的開源 OLAP 資料庫產品,隨著 StarRocks 加速向各行各業滲透,大用戶陣容也在不斷擴大。截至目前,已有超過300家市值10億美金的企業使用 StarRocks。
在大用戶的示範和帶動下,中小企業用戶規模同樣在迅速壯大,StarRocks 社區用戶已突破1萬,並依然保持著高速增長態勢。
另外,根據峰會演講嘉賓透露的使用情況,用戶對 StarRocks 的部署規模也在快速增長。
其中,騰訊遊戲公共數據平台部總監崔玉明介紹,騰訊遊戲已上線近100個 StarRocks 集群,共有1470個 BE 節點,1300 個 CN 節點,湖數據量達4.99P。
從應用場景來看,嘉賓們分享的場景包括金融營銷、用戶畫像、自助分析、報表體驗升級等,基本涵蓋了當前實時數倉技術的所有經典應用場景。
鏡舟科技CEO孫文現表示,StarRocks 開源社區為制勝場景的誕生提供了肥沃的土壤,各行各業、各種需求在社區中碰撞、交融,產生出 StarRocks 的制勝場景。
據孫文現介紹,鏡舟科技基於 StarRocks 打造的企業級產品全年經歷了近百次POC,成功率達到90%以上。
據悉,過去一年,StarRocks 先後發布了2.5、3.0、3.1三個版本。StarRocks TSC Member、鏡舟科技 CTO 張友東介紹,升級到存算分離架構後,用戶的存儲成本能下降80%,而計算節點則因為無狀態,可以通過快速彈性、跨可用區部署等方式來提高計算的可用性,並且計算資源能夠進行物理隔離,按需獨立彈性伸縮。
到 3.1 版本,開啟 Local cache 的情況下,存算分離架構下的性能表現已接近本地存儲的水平。
與此同時,現在 StarRocks 的湖倉分析能力已非常完備,不僅支持internal、Data lake、JDBC、ES等catalog,還支持跨數據源的聯幫分析。
另外,主鍵模型的能力在過去一年也得到持續提升,已經同時支持全內存和持久化的索引,並支持了 partial update、conditional update 的能力,在性能方面,針對批量更新的場景,引入了按列更新的模式,性能相比按行更新提升10倍以上。
張友東表示,未來數據演進的趨勢是湖倉一體,用戶無需關注是建湖還是建倉,不管是構建數據湖還是構建數據倉庫,企業最終的目標是低成本、高效的解決數據分析問題。StarRocks 在具備存算分離、湖倉分析、物化視圖等一系列重量級特性後,實現了往 Lakehouse 引擎的升級,藉助 StarRocks 可兼具數據湖和資料庫倉庫的優勢。
目前已有數十家企業在基於 StarRocks 實踐湖倉新範式,並取得非常好的業務效果。
據張友東介紹,未來 StarRocks 還會朝著雲原生方向繼續邁進,推動實時分析鏈路進一步精簡,通過 ETL on lakehouse,all in one 的作業模式,幫助企業低成本、高效率地發掘數據價值。