腾讯安全发布自研云原生安全数据湖产品，助力企业安全智能化转型
腾讯安全发布了一款自研的云原生安全数据湖产品，通过其官方新闻介绍了两个令人印象深刻的指标。据称，在同等数据规模下，这个数据湖的硬件成本不到同类开源软件的1/10，并且在查询性能方面，特别是聚合查询性能方面，能够实现PB级日志的秒级查询。
如果这些指标是确凿无疑的，那将是国产安全日志处理软件的一个重要里程碑。因为在日志处理领域，“PB级数据秒级查询”是一个重要的技术指标，目前主流的开源软件方案基本上仅限于TB级别，国外企业能够达到PB级别的性能，但相应的硬件和授权费用也非常高昂。
目前市面上最广泛应用的安全日志分析工具仍然是开源软件ElasticSearch，多数企业基于ES来构建自己的日志处理系统，但它存在明显的缺陷，例如索引导致的数据膨胀消耗额外的CPU资源，占用大量的磁盘空间。
此外，使用开源软件构建系统也会面临复杂的组成结构，企业的后续维护成本更高，而且在需要扩容时也会面临技术上的瓶颈，这是许多企业目前面临的问题。
随着XDR和大数据的兴起，安全日志处理成为炙手可热的领域，并催生了几家知名公司：
Splunk是一家总部位于美国旧金山的科技公司，其产品主要关注机器生成的大数据的搜索、监视和分析。旗下的产品可以为指定数据来源建立索引并创建关联，然后生成图表、报告和警报，并以图形化的方式展示出来。Splunk在2021年的收入为26.74亿美元，毛利为19.4亿美元。
Scalyr成立于2011年，创始人为Writely的前首席工程师Steve Newman，其技术被谷歌Docs收购。该公司提供了一套集成的服务器监控、日志管理、可视化和分析工具，将所有指标实时聚合到一个集中式系统中，并可以与云服务集成。2021年2月9日，Scalyr以1.55亿美元的价格被安全厂商SentinelOne收购。
Humio成立于2016年，是一家位于英国的公司，在2021年3月被安全厂商CrowdStrike以4亿美元的价格收购。Humio主要为客户提供日志数据管理分析服务，其无索引技术方案可以帮助企业记录所有结构化和非结构化数据，并帮助其进行快速检索和恢复。
Clickhouse成立于2021年，致力于将其产品打造成为分析型数据库的首选。该公司已完成数百万美元的融资，估值达到20亿美元。
如今，腾讯安全成为了这个领域的新入局者。据公开资料显示，腾讯安全的云原生安全数据湖基于MPP架构进行开发，采用Rust语言进行优化，专门针对日志和安全场景进行了优化。它使用列存储实现了极高的数据压缩比，并采用无索引架构来避免索引开销。
除了眼花缭乱的技术描述，仅仅是硬件成本不到同类开源软件的1/10和实现PB级日志秒级查询的指标就足以吸引人们的注意。
与前面提到的公司相比，腾讯安全产品具备成本、效率和性能的优势，并且考虑到国产化替代的趋势，未来很可能成为许多企业选择安全日志产品的首选。
另外，腾讯安全还基于新一代安全日志大数据平台架构推出了高级威胁安全治理解决方案，具备四大核心优势，可以帮助客户实现业务转型升级和优化服务体系。该解决方案聚焦于"预测、防御、检测、响应"的安全闭环，通过构建安全数据处理流程，实现了安全事件自动调查、响应和处理，从而实现企业全网安全态势的可知、可见和可控。
腾讯安全还提供了一体化泛安全数据接入、加工、存储、智能分析、检索、告警和可视化等服务，并具备插件化应用开发能力。其云原生安全数据湖可以支持PB级数据秒级查询分析能力，通过针对高危安全事件和潜伏网络攻击事件的上下文查询分析，实现快速完整性审计、溯源取证和定损。
通过云原生、存算分离、MPP架构和列存等技术，腾讯安全的云原生安全数据湖可以降低90%的存储成本，并提升数据处理规模。
腾讯安全将继续开放技术原子能力，将其领先的技术与企业现有的安全能力融合，为各行业的安全实践注入数字安全免疫力。