工業資料庫發展如何滿足新型工業化需求？
作者｜陳楊
編輯｜王博
回看歷次工業革命，工業都是一個國家綜合國力的根基、經濟增長的主引擎以及技術創新的主戰場。
今年9月，全國新型工業化推進大會在京召開。會後，各地紛紛進行再動員、再部署，加速推進新型工業化。一時間，新型工業化成為各地抓經濟、促發展的「熱詞」。日前召開的中央經濟工作會議明確指出，要大力推進新型工業化。
2002年，新型工業化的概念首次被提出。此後20年，新型工業化的內涵不斷被豐富。究其本質，新型工業化的核心是在傳統工業化基礎上，利用新一代信息技術和先進位造技術，推動產業結構升級、生產方式變革和經濟發展模式轉變的過程，是工業化和信息化的深度融合。
這與近年來國家倡導的工業數字化轉型無疑是相通的，即用數字化技術結合行業Know-How，幫助工業企業實現降本、增效、提質，從高速發展走向高質量發展。
隨著工業數字化進程不斷加快，工業海量數據及豐富的應用場景正在不斷激發數據要素的潛在價值，推動傳統產業數字化轉型，催生新模式新業態，為工業轉型升級、實現高質量發展提供了現實路徑。
但是，相比其他行業，工業數據體量大、分散度高、實時性強，這也意味著管理難度更高。
在倡導數據驅動、數據決策的今天，工業企業的確需要一個更強大、更符合物聯網時代需求的資料庫，替代傳統關係型資料庫。
近期，「甲子光年」注意到，一款面向工業物聯網需求的國產自研資料庫——Apache IoTDB悄然登上了國際知名評測機構榜首。而在產業中，一些工業頭部企業，也已經在這款資料庫的賦能下開始行動。
在解決「缺芯少魂」問題的過程中，這是一次不亞於自研晶片的突破。
1.工業資料庫呼喚「專科生」
1996年9月15日，位於江蘇徐州的彭城電廠1號機建成投產，比計劃提前105天。徐州華潤電力有限公司成為了中國第一個自主建設、自主管理、自主經營的電力項目，創造了多項行業奇蹟，這個項目被稱為「彭城模式」而載入中國電力史冊。
彭城電廠揭牌儀式，圖片來源：華潤集團
無論是開工之際就公布完工節點的大膽創舉，還是探索「建設即運營」的管理模式，亦或是低於行業造價的高標準建設，華潤電力開闢了國內電力項目自主建設、自主管理、自主經營的先河。
從一個只有兩台30萬千瓦機組的項目公司起步，華潤電力從一座小城走向全國，並於2003年在香港聯合交易所主板上市，目前業務涉及風電、光伏發電、火電、水電、分布式能源、售電、綜合能源服務、煤炭等領域。
截至2023年上半年，華潤電力總資產3105.49億港元，運營裝機容量70793兆瓦，發電運營權益裝機容量54986兆瓦，可再生能源權益裝機占比34.5%。
在傳統電力系統中有著「源網荷」三要素，分別指的是發電、電網、負荷，僅有負荷單一要素不可控。不過，由於新能源發電的隨機性、波動性和不可控，導致發電端的可靠性在降低，再加上負荷本就不可控，這對要求確保實時平衡的電力系統造成巨大挑戰，對於華潤電力這樣一家綜合能源公司來說，如何建立新型電力系統成為了思考問題。
增加儲能模式自然可以，但高額的成本意味著完全靠儲能平衡供需兩側非常困難。依靠儲能再結合數字化的手段，對發電量、用戶側需求通過模型預測，再藉助儲能調整，進而實現精準控制，從而保持電力系統穩定高效的運行，成為華潤電力的破局之道。
這也導致資料庫在智能發電控制系統中角色的轉變：要求資料庫從面向過程的定周期計算到以狀態空間為核心，成為不同功能的交互樞紐，滿足不同應用接近實時的處理。「狀態空間絕對不是一個無時間序列的，它要求一個必須基於時間序列的實時系統。」 華潤電力技術研究院副院長郭為民在2023 IoTDB 用戶大會上表示。
同樣是在1996年，鋼鐵市場進入寒冬，一場以產銷研一體化推動企業深層次變革的行動在上海寶鋼開始了，主題是「以質量提高、品種升級來實現效益最大化」，方法是「把衡量質量的尺子交給用戶」。
後來，寶鋼實施了多次聯合重組，成立了中國寶武鋼鐵集團有限公司（以下簡稱「寶武」）。如今，寶武在2023年公布的《財富》世界500強排行榜位列44位，繼續位居全球鋼鐵企業首位。
作為寶武的子公司，寶武裝備智能科技有限公司（以下簡稱「寶武裝備」）是一家聚焦智能運維的專業化高科技公司，旨在以數據為核心，通過智能感知、智能採集、智能傳輸、智能模型、智能算法，推動傳統設備技術服務的智能化升級，並形成了以熱軋、連鑄、風機、電機為代表的系列智能運維繫統解決方案。
截至目前，寶武裝備打造的寶武智維雲平台已覆蓋21大基地、27個子平台，接入600000+設備、2400000+數據項，管理總數據量5PB+。
工業數字化過程中，問題也來了。
隨著管理數據量的不斷增加，原有資料庫也限制了寶武裝備的發展。
寶武裝備技術中心副主任趙剛表示，原有資料庫管理系統一方面是寫入慢、查詢慢、加工慢、抽取慢，另一方面表現在匯聚難、清理難和備份難。「我們公司還有一個專門的AI團隊，他們經常跟我訴苦說一旦模型對數據的並發量上去，整個平台穩定性便受到影響。」 趙剛說。
實時處理、海量數據讀寫、分布式部署、毫秒級數據查詢，這便是以華潤電力、寶武裝備為代表的大型工業企業在物聯網時代對資料庫的需求。「傳統關係型資料庫通用能力很強，但越通用，性能可能便越差，這就像全科生和專科生一樣。」Apache IoTDB PMC Member、天謀科技CTO喬嘉林這樣向「甲子光年」解釋。
2.炙手可熱的時序資料庫
既然傳統關係型資料庫無法滿足工業數字化對帶有時間標籤數據的有效處理，一種專門面向電力、化工、能源、製造等工業數據實時處理的資料庫——時序資料庫應運而生，該類資料庫通常具有應對高頻採集、實時讀寫、海量數據存儲等工業數據處理難點的能力。
不同資料庫及部分時序資料庫對比，圖片來源：Apache IoTDB
從誕生時間來看，時序資料庫不過2010年後的產物。但在此之前，一類名叫實時資料庫的產品早已被廣泛用於工業領域，進行數據的實時採集、獲取。其中，美國OSISoft公司推出的Pi實時資料庫便是全球實時資料庫的領導者。
喬嘉林告訴「甲子光年」：「時序資料庫是從Pi系統翻譯過來的，最初僅僅是單純的資料庫，後面逐漸加入了採集、可視化等組件，慢慢地往周邊工具擴展，所以我認為實時資料庫和時序資料庫這兩個概念慢慢會基本融合。」
如今，隨著智能製造、物聯網、新型工業化等概念的普及，時序資料庫也成為資料庫領域炙手可熱的話題，國際權威資料庫排行網站DB-Engines今年7月的流行度數據顯示，時序資料庫在所有資料庫類別中排名第二。
對於時序資料庫的價值與發展，喬嘉林表示：「相比傳統關係型資料庫，時序資料庫首先解決了高通量的寫入問題，用戶不用為數據的存儲頻率妥協，能夠實現應采盡采、應存盡存。後續數據的實時處理、應用分析、智能處理等能力也在慢慢擴展到時序資料庫中。」
時序數據管理技術演進，圖片來源：天謀科技
面向市場層面，如今主流的時序資料庫包括InfluxDB、OpenTsdb、TimescaleDB等幾款開源項目，國內阿里雲、華為雲、百度智能雲、青雲等雲服務商也分別推出了時序資料庫產品。
3.從清華課題到國際評測機構唯一上榜的國產時序資料庫
「缺芯少魂」一直是困擾中國信息產業發展的難題，其中「缺芯」多數人比較了解，而「少魂」中的「魂」便是指以作業系統、資料庫為代表的基礎軟體。
「晶片卡脖子很要緊，但軟體卡脖子一樣要緊。必須要把軟體的根紮下去，才能讓創新持續發生，才能讓頂層的商業更加繁榮。」今年1月10日，在百度Create AI開發者大會上，百度創始人、董事長兼執行長李彥宏如此強調基礎軟體的重要性。
此前關係型資料庫的時代，資料庫市場常年由Oracle、IBM、SAP、微軟等國外科技巨頭主導，隨著雲計算的到來以及分布式技術的發展，國內資料庫廠商開始了追趕乃至反超。
如今進入物聯網、大數據時代，面向新型工業化對資料庫的需求，中國信息產業已經告別了「少魂」的局面，因為一款完全國產自研時序資料庫——Apache IoTDB出現了。
近期，來自benchANT（國際知名資料庫評測機構，專做雲設施和資料庫性能評估）的測試數據顯示：Apache IoTDB是目前唯一上榜的國產時序資料庫，且位居benchANT時序資料庫排行榜Time Series: DevOps 場景寫入吞吐量、存儲占用、查詢延遲、成本效益等多項性能表現的第一名。
benchANT時序資料庫排行榜，圖片來源：benchANT官網
Apache IoTDB的誕生，源於2011年清華大學軟體學院參與國家「863計劃」課題時，在處理工業領域時序數據時發現了傳統技術與工業物聯網應用之間的功能與性能問題，後於2015年正式開始「清華 IoTDB」時序資料庫管理系統的研發，此後自研的列式緊緻文件存儲格式TsFile實現了技術上的突破，其寫入、存儲、查詢等性能初露頭角。
後續，IoTDB歷經下述幾個發展階段：2018年，成為全球最大的開源軟體基金會 Apache Software Foundation的孵化器項目，即Apache IoTDB；2020 年，從孵化器畢業升為全球 top-level 項目（TLP），建成全球認可的國際開源社區；2021年，IoTDB核心研發團隊成立商業化公司天謀科技；2022年，正式發布 1.0 分布式版本，實現元數據與數據分區、多主共識協議等技術突破。
清華大學軟體學院院長、IoTDB 項目創始人王建民介紹，IoTDB的目標是構建一個新一代、跨越端邊雲的工業物聯網數據基礎設施，實現了「貫通端邊雲的時序數據文件格式TsFile、基於量化和降序位壓縮的頻域壓縮算法FREQ、面向物聯網場景的多副本一致性NB-Raft共識協議與IoT-Consensus共識協議、管理分析一體化資料庫系統架構」四大創新。
IoTDB跨端邊雲邏輯圖，圖片來源：清華數為
回顧過去一年，IoTDB緊扣工業大數據管理的痛點進行了架構、性能、功能、穩定性的多方向疊代。據悉，2023 年，IoTDB新增80萬行代碼、各渠道下載量增加10倍以上、代碼提交活躍度在Apache基金會360多個項目中最高排行第二。
在本月初舉行的2023 IoTDB用戶大會上，IoTDB企業版迎來V1.3版本的發布。喬嘉林介紹，新版本圍繞工業用戶提出的企業級服務、易用工具、行業特色功能等需求，實現了「單平台采存算管用」的橫向一站式解決方案與「跨平台端邊雲協同」的縱向一站式解決方案打通，進一步滿足工業數字化轉型所需的時序數據管理一站式服務。
IoTDB系統架構，圖片來源：天謀科技
4.為新型工業化築基
截至目前，IoTDB已在能源電力、鋼鐵冶煉、航空航天、石油石化、智慧工廠、車聯網等領域服務於超1000家規上工業企業用戶，其中不乏中核集團、國家電網、中國中車、中石油、中石化、中國移動、中國寶武等眾多央企、國企。
郭為民介紹，華潤電力在建設新型電力系統時，選擇了將IoTDB作為華潤電力智能火電廠與華潤電力新能源智慧運營系統的數據管理核心，以支持海量測點、數據量的時序數據管理，並支持華潤智能管理系統採用雲、邊、端協同的技術架構，從而建立不同網絡資源環境下，穩定協同、靈活同步的數據流轉體系。
寶武裝備則基於IoTDB全面重構了寶武智維雲數據底座，從而實現1個量級性能提升、存儲成本下降（壓縮比提升 7-8 倍）、運維手段豐富、數據資產匯聚、AI模型訓練得到加速。趙剛表示：「經過謹慎對比，我們決定選用IoTDB來做我們的解決方案，不僅僅因為它是我們國產的資料庫，更因為它的高性能。」
事實上，以IoTDB為代表的國產資料庫的崛起，不僅得到了大型工業企業的應用，也得到了國際知名資料庫專家的認可。
美國國家工程院院士、國際著名資料庫學者Dr.C.Mohan告訴「甲子光年」：「中國的資料庫其實已經到了一個比較成熟的階段。但相比國外，中國資料庫的發展不僅要重視論文的發表，同時需要更多的產品、技術等人才共同參與進來，把資料庫相關的技術進行共享、解讀，站在用戶側、產業側傳播。」
（封面圖來源：攝圖網）
END.
尊敬的甲子光年用戶/讀者，感謝您在2023年對甲子光年的支持和陪伴！
科技產業的發展日新月異、追風趕月！
為了更好服務於甲子光年的用戶/讀者，甲子光年特開展此次針對用戶/讀者的需求問卷調查。期望收集大家對甲子光年的品牌認知與評價，以及對甲子光年內容和服務的真實需求，以便為大家提供更為精準、前沿、專業、深度的科技內容和智庫服務。
本次調研不涉及個人隱私，獲取數據僅用於指導2024年甲子光年業務開展，請您放心填答。