StarRocks Summit 2023:平安银行、伊利等详解大数据分析的技术与实践

2023-11-21   环球Tech

原标题:StarRocks Summit 2023:平安银行、伊利等详解大数据分析的技术与实践

日前,由 StarRocks 社区发起、镜舟科技主办的 StarRocks 年度大型技术交流峰会 StarRocks Summit 2023 成功举行。本次峰会以“极速进化,融合‘新’生”为主题,来自平安银行、华润、腾讯游戏、阿里云、伊利、美的、京东等头部企业的大数据专家围绕数据进化、需求进化、技术进化,细致讲解大数据分析的新技术与实践。

据悉,这是 StarRocks 第三次举行年度技术交流峰会,到场的企业中既有腾讯、阿里、京东等在去年峰会上分享过经验的互联网“老面孔”,也有不少来自金融、制造、零售等行业的新面孔,比如伊利、平安银行、芒果TV等。

作为一款技术领先的开源 OLAP 数据库产品,随着 StarRocks 加速向各行各业渗透,大用户阵容也在不断扩大。截至目前,已有超过300家市值10亿美金的企业使用 StarRocks。

在大用户的示范和带动下,中小企业用户规模同样在迅速壮大,StarRocks 社区用户已突破1万,并依然保持着高速增长态势。

另外,根据峰会演讲嘉宾透露的使用情况,用户对 StarRocks 的部署规模也在快速增长。

其中,腾讯游戏公共数据平台部总监崔玉明介绍,腾讯游戏已上线近100个 StarRocks 集群,共有1470个 BE 节点,1300 个 CN 节点,湖数据量达4.99P。

从应用场景来看,嘉宾们分享的场景包括金融营销、用户画像、自助分析、报表体验升级等,基本涵盖了当前实时数仓技术的所有经典应用场景。

镜舟科技CEO孙文现表示,StarRocks 开源社区为制胜场景的诞生提供了肥沃的土壤,各行各业、各种需求在社区中碰撞、交融,产生出 StarRocks 的制胜场景。

据孙文现介绍,镜舟科技基于 StarRocks 打造的企业级产品全年经历了近百次POC,成功率达到90%以上。

据悉,过去一年,StarRocks 先后发布了2.5、3.0、3.1三个版本。StarRocks TSC Member、镜舟科技 CTO 张友东介绍,升级到存算分离架构后,用户的存储成本能下降80%,而计算节点则因为无状态,可以通过快速弹性、跨可用区部署等方式来提高计算的可用性,并且计算资源能够进行物理隔离,按需独立弹性伸缩。

到 3.1 版本,开启 Local cache 的情况下,存算分离架构下的性能表现已接近本地存储的水平。

与此同时,现在 StarRocks 的湖仓分析能力已非常完备,不仅支持internal、Data lake、JDBC、ES等catalog,还支持跨数据源的联帮分析。

另外,主键模型的能力在过去一年也得到持续提升,已经同时支持全内存和持久化的索引,并支持了 partial update、conditional update 的能力,在性能方面,针对批量更新的场景,引入了按列更新的模式,性能相比按行更新提升10倍以上。

张友东表示,未来数据演进的趋势是湖仓一体,用户无需关注是建湖还是建仓,不管是构建数据湖还是构建数据仓库,企业最终的目标是低成本、高效的解决数据分析问题。StarRocks 在具备存算分离、湖仓分析、物化视图等一系列重量级特性后,实现了往 Lakehouse 引擎的升级,借助 StarRocks 可兼具数据湖和数据库仓库的优势。

目前已有数十家企业在基于 StarRocks 实践湖仓新范式,并取得非常好的业务效果。

据张友东介绍,未来 StarRocks 还会朝着云原生方向继续迈进,推动实时分析链路进一步精简,通过 ETL on lakehouse,all in one 的作业模式,帮助企业低成本、高效率地发掘数据价值。