騰訊安全發布自研雲原生安全數據湖產品，助力企業安全智能化轉型
騰訊安全發布了一款自研的雲原生安全數據湖產品，通過其官方新聞介紹了兩個令人印象深刻的指標。據稱，在同等數據規模下，這個數據湖的硬體成本不到同類開源軟體的1/10，並且在查詢性能方面，特別是聚合查詢性能方面，能夠實現PB級日誌的秒級查詢。
如果這些指標是確鑿無疑的，那將是國產安全日誌處理軟體的一個重要里程碑。因為在日誌處理領域，「PB級數據秒級查詢」是一個重要的技術指標，目前主流的開源軟體方案基本上僅限於TB級別，國外企業能夠達到PB級別的性能，但相應的硬體和授權費用也非常高昂。
目前市面上最廣泛應用的安全日誌分析工具仍然是開源軟體ElasticSearch，多數企業基於ES來構建自己的日誌處理系統，但它存在明顯的缺陷，例如索引導致的數據膨脹消耗額外的CPU資源，占用大量的磁碟空間。
此外，使用開源軟體構建系統也會面臨複雜的組成結構，企業的後續維護成本更高，而且在需要擴容時也會面臨技術上的瓶頸，這是許多企業目前面臨的問題。
隨著XDR和大數據的興起，安全日誌處理成為炙手可熱的領域，並催生了幾家知名公司：
Splunk是一家總部位於美國舊金山的科技公司，其產品主要關注機器生成的大數據的搜索、監視和分析。旗下的產品可以為指定數據來源建立索引並創建關聯，然後生成圖表、報告和警報，並以圖形化的方式展示出來。Splunk在2021年的收入為26.74億美元，毛利為19.4億美元。
Scalyr成立於2011年，創始人為Writely的前首席工程師Steve Newman，其技術被谷歌Docs收購。該公司提供了一套集成的伺服器監控、日誌管理、可視化和分析工具，將所有指標實時聚合到一個集中式系統中，並可以與雲服務集成。2021年2月9日，Scalyr以1.55億美元的價格被安全廠商SentinelOne收購。
Humio成立於2016年，是一家位於英國的公司，在2021年3月被安全廠商CrowdStrike以4億美元的價格收購。Humio主要為客戶提供日誌數據管理分析服務，其無索引技術方案可以幫助企業記錄所有結構化和非結構化數據，並幫助其進行快速檢索和恢復。
Clickhouse成立於2021年，致力於將其產品打造成為分析型資料庫的首選。該公司已完成數百萬美元的融資，估值達到20億美元。
如今，騰訊安全成為了這個領域的新入局者。據公開資料顯示，騰訊安全的雲原生安全數據湖基於MPP架構進行開發，採用Rust語言進行優化，專門針對日誌和安全場景進行了優化。它使用列存儲實現了極高的數據壓縮比，並採用無索引架構來避免索引開銷。
除了眼花繚亂的技術描述，僅僅是硬體成本不到同類開源軟體的1/10和實現PB級日誌秒級查詢的指標就足以吸引人們的注意。
與前面提到的公司相比，騰訊安全產品具備成本、效率和性能的優勢，並且考慮到國產化替代的趨勢，未來很可能成為許多企業選擇安全日誌產品的首選。
另外，騰訊安全還基於新一代安全日誌大數據平台架構推出了高級威脅安全治理解決方案，具備四大核心優勢，可以幫助客戶實現業務轉型升級和優化服務體系。該解決方案聚焦於"預測、防禦、檢測、響應"的安全閉環，通過構建安全數據處理流程，實現了安全事件自動調查、響應和處理，從而實現企業全網安全態勢的可知、可見和可控。
騰訊安全還提供了一體化泛安全數據接入、加工、存儲、智能分析、檢索、告警和可視化等服務，並具備插件化應用開發能力。其雲原生安全數據湖可以支持PB級數據秒級查詢分析能力，通過針對高危安全事件和潛伏網絡攻擊事件的上下文查詢分析，實現快速完整性審計、溯源取證和定損。
通過雲原生、存算分離、MPP架構和列存等技術，騰訊安全的雲原生安全數據湖可以降低90%的存儲成本，並提升數據處理規模。
騰訊安全將繼續開放技術原子能力，將其領先的技術與企業現有的安全能力融合，為各行業的安全實踐注入數字安全免疫力。