前言
區塊鏈作為一種架構設計的實現,與基礎語言或平台等差別較大。區塊鏈是加密貨幣背後的技術,是當下與 VR 虛擬現實等比肩的熱門技術之一,本身不是新技術,類似 Ajax,可以說它是一種技術架構,所以我們從架構設計的角度談談區塊鏈的技術實現。
無論你擅長什麼程式語言,都能夠參考這種設計去實現一款區塊鏈產品。與此同時,梳理與之相關的知識圖譜和體系,幫助大家系統的去學習研究。
基本概念
區塊鏈的概念最近很火,它來自於比特幣等加密貨幣的實現,但是目前,這項技術已經逐步運用在各個領域。
什麼是區塊鏈技術?為了感性認識這個問題,我們可以使用谷歌地球的例子做類比,Ajax 不是什麼新技術,但組合在一起就成就了產品谷歌地球,與之類似,區塊鏈也不是什麼新技術,但與加密解密技術、P2P 網絡等組合在一起,就誕生了比特幣。
技術人員,特別是 Web 開發工程師,學習了解 Ajax 技術最早是被谷歌地球酷炫的效果所吸引。而現在,歷史再一次重演,很多人被比特幣的瘋狂發展所吸引,進而開始研究其背後的技術——區塊鏈。
區塊鏈原本是比特幣等加密貨幣存儲數據的一種獨特方式,是一種自引用的數據結構,用來存儲大量交易信息,每條記錄從後向前有序連結起來,具備公開透明、無法篡改、方便追溯的特點。
實際上,這種特性也直接體現了整個比特幣的特點,因此使用區塊鏈來概括加密貨幣背後的技術實現是非常直觀和恰當的。區塊鏈是一項技術,加密貨幣是其開發實現的一類產品(含有代幣,也有不含代幣的區塊鏈產品),不能等同或混淆。與加密貨幣相比,區塊鏈這個名字拋開了代幣的概念,更加形象化、技術化、去政治化,更適合作為一門技術去研究、去推廣。
所以,目前當大家單獨說到區塊鏈的時候,就是指的區塊鏈技術,是實現了數據公開、透明、可追溯的產品的架構設計方法,算作廣義的區塊鏈。而當在具體產品中談到區塊鏈的時候,可以指類似比特幣的數據存儲方式,或許是資料庫設計,或許是文件形式的設計,這算作狹義的區塊鏈。
廣義的區塊鏈技術,必須包含點對點網絡設計、加密技術應用、分布式算法的實現、數據存儲技術的使用等 4 個方面,其他的可能涉及到分布式存儲、機器學習、VR、物聯網、大數據等。狹義的區塊鏈僅僅涉及到數據存儲技術,資料庫或文件操作等。
本文的區塊鏈,指的是廣義的區塊鏈。
架構圖
從架構設計上來說,區塊鏈可以簡單的分為三個層次,協議層、擴展層和應用層。其中,協議層又可以分為存儲層和網絡層,它們相互獨立但又不可分割。如圖:
協議層
所謂的協議層,就是指代最底層的技術。這個層次通常是一個完整的區塊鏈產品,類似於我們電腦的作業系統,它維護著網絡節點,僅提供 API 供調用。
通常官方會提供簡單的客戶端(通稱為錢包),這個客戶端錢包功能也很簡單,只能建立地址、驗證簽名、轉帳支付、查看餘額等。這個層次是一切的基礎,構建了網絡環境、搭建了交易通道、制定了節點獎勵規則,至於你要交易什麼,想幹什麼,它一概不過問,也過問不了。典型的例子,自然是比特幣,還有各種二代幣,比如萊特幣等,本書介紹的億書幣也是。這個層次,是現階段開發者聚集的地方,這說明加密貨幣仍在起步當中。
從用到的技術來說,協議層主要包括網絡編程、分布式算法、加密簽名、數據存儲技術等 4 個方面,其中網絡編程能力是大家選擇程式語言的主要考慮因素,因為分布式算法基本上屬於業務邏輯上的實現,什麼語言都可以做到,加密簽名技術是直接簡單的使用(請看書中相關的加密解密文章,不建議自由發揮,沒有過多的編碼邏輯),資料庫技術也主要在使用層面,只有點對點網絡的實現和並發處理才是開發的難點,所以對於那些網絡編程能力強,對並發處理簡單的語言,人們就特別偏愛。也因此,Nodejs 開發區塊鏈應用,逐漸變得更加流行,Go 語言也在逐漸興起。
上面的架構設計圖裡,我把這個層面進一步分成了存儲層和網絡層。數據存儲可以相對獨立,選擇自由度大一些,可以單獨來討論。
選擇的原則無非是性能和易用性。我們知道,系統的整體性能,主要取決於網絡或數據存儲的 I/O 性能,網絡 I/O 優化空間不大,但是本地數據存儲的 I/O 是可以優化的。比如,比特幣選擇的是谷歌的 LevelDB,據說這個資料庫讀寫性能很好,但是很多功能需要開發者自己實現。目前,困擾業界的一個重大問題是,加密貨幣交易處理量遠不如現在中心化的支付系統(銀行等),除了 I/O,需要全方位的突破。
分布式算法、加密簽名等都要在實現點對點網絡的過程中加以使用,所以自然是網絡層的事情,也是編碼的重點和難點,《Nodejs 開發加密貨幣》全書分享的基本上就是這部分的內容。
當然,也有把點對點網絡的實現單獨分開的,把節點查找、數據傳輸和驗證等邏輯獨立出來,而把共識算法、加密簽名、數據存儲等操作放在一起組成核心層。無論怎麼組合,這兩個部分都是最核心、最底層的部分,都是協議層的內容。
擴展層
這個層面類似於電腦的驅動程序,是為了讓區塊鏈產品更加實用。
目前有兩類,一是各類交易市場,是法幣兌換加密貨幣的重要渠道,實現簡單,來錢快,成本低,但風險也大。
二是針對某個方向的擴展實現,比如基於億書側鏈,可為第三方出版機構、論壇網站等內容生產商提供定製服務等。特別值得一提的就是大家聽得最多的「智能合約」的概念,這是典型的擴展層面的應用開發。所謂「智能合約」就是「可編程合約」,或者叫做「合約智能化」,其中的「智能」是執行上的智能,也就是說達到某個條件,合約自動執行,比如自動轉移證券、自動付款等,目前還沒有比較成型的產品,但不可否認,這將是區塊鏈技術重要的發展方向。
擴展層使用的技術就沒有什麼限制了,可以包括很多,上面提到的分布式存儲、機器學習、VR、物聯網、大數據等等,都可以使用。程式語言的選擇上,可以更加自由,因為可以與協議層完全分離,程式語言也可以與協議層使用的開發語言不相同。
在開發上,除了在交易時與協議層進行交互之外,其他時候儘量不要與協議層的開發混在一起。這個層面與應用層更加接近,也可以理解為 B/S 架構的產品中的服務端(Server)。這樣不僅在架構設計上更加科學,讓區塊鏈數據更小,網絡更獨立,同時也可以保證擴展層開發不受約束。
從這個層面來看,區塊鏈可以架構開發任何類型的產品,不僅僅是用在金融行業。在未來,隨著底層協議的更加完善,任何需要第三方支付的產品都可以方便的使用區塊鏈技術;任何需要確權、徵信和追溯的信息,都可以藉助區塊鏈來實現。我個人覺得,這個目標應該很快就能實現。
應用層
這個層面類似於電腦中的各種軟體程序,是普通人可以真正直接使用的產品,也可以理解為 B/S 架構的產品中的瀏覽器端(Browser)。這個層面的應用,目前幾乎是空白。市場亟待出現這樣的應用,引爆市場,形成真正的擴張之勢,讓區塊鏈技術快速走進尋常百姓,服務於大眾。
大家使用的各類輕錢包(客戶端),應該算作應用層最簡單、最典型的應用。很快,億書將基於億書網絡推出文檔協作工具,這個就是典型的應用層的產品。
限於當前區塊鏈技術的發展,億書只能從協議層出發,把目標指向應用層,同時為第三方開發者提供擴展層的強大支持。這樣做既可以避免貪多,又可以避免無法落地,是真正理性的開發路線。因為純粹的開發協議層或擴展層,無法真正理解和驗證應用層,會脫離實際,讓第三方開發者很難使用。如果僅僅考慮應用層,市面上又找不到真正牢固、易用的協議層或擴展層的產品。
所以,我們只好全面發力,採取完全開源開放的態度,通過社區的力量,共同去做一件有意義的事情,也算為中國區塊鏈技術發展做點技術積累和微薄貢獻。
編程實現
很多小夥伴,習慣結合自己的技術背景,來理解上面的架構設計。這裡,結合具體的程式語言,簡單介紹幾款產品,僅供參考。
C/C++
這兩個語言是無法逾越的,任何開發遇到瓶頸,基本上都會找到它們,自然應該排在第一位要介紹的。同時,區塊鏈技術的鼻祖,比特幣(協議層)就是用 C++ 語言開發的,而且目前為止,沒有比比特幣更加成功的區塊鏈產品。所以,無論你使用什麼語言開發,在正式進入這個行業的過程中,都應該先研究研究比特幣。
比特幣官方客戶端錢包用的 Qt,第三方錢包有 Python 語言開發的,特別是第三方整理的開發庫(API 包)很多是 Nodejs 設計的。
比特幣的架構,與上面的架構設計基本相同,另外,因為共識算法採用的是工作量證明機制(PoW:Proof of work),還有一些特殊的挖礦的過程。
其他競爭幣都是直接來自比特幣的分支,所以程式語言相同,具體的技術選型和技術實現上可能有所改進,比如:萊特幣,使用了其他的加密算法。
- 官方網站:https://bitcoin.org/
- 源碼庫:https://github.com/bitcoin
Nodejs/JavaScript
Nodejs 平台強大的網絡編程能力,以及 JS 腳本語言的簡單快捷,在區塊鏈領域自然少不了它的身影。
億書便是這樣一個區塊鏈產品,億書幣是它的協議層,使用了著名的 Express 開發框架,基於 HTTP 協議開發而成。同時,它採用了授權股權證明機制(DPoS),算法上的改進,讓它在處理交易時更加輕量,處理能力大大提升。它提供了強大的協作機制,為數字出版、版權保護提供了便利;擴展了側鏈功能,可以基於它開發任何去中心化的應用,從而為專業作者、博客愛好者和開發者提供很多方便。
《Nodejs 開發加密貨幣》這本書完整分享了它的源碼,從區塊鏈基礎概念到代碼實現,從基本原理到開發設計思路,都做了比較詳細的探索,目前為止,從協議層面深入代碼講解區塊鏈技術實現的書籍極少,這算作一本。
- 官方網站:http://ebookchain.org/
- 源碼庫:https://github.com/Ebookcoin
Python
如果是 Python 語言愛好者,我建議研究研究以太坊(Ethereum)的 Python 實現。儘管因為 The Dao 事件鬧得沸沸揚揚,但從技術實現的角度來說,仍然值得參考學習。
以太坊官方定位為一種開發管理分布式應用的平台,主攻方向就是「智能合約」,並為其定製了一種程式語言 Solidity。
以太坊的核心是以太坊虛擬機(EVM),允許用戶按照自己的意願創建操作。
以太坊給出了 Go、Java、Python 等多語言的實現。其中以 Python 為基礎的實現主要包括三個部分:Pyethapp 是客戶端部分;Pyethereum 是核心庫,實現了區塊鏈、以太坊模擬機和挖礦等功能;pydevp2p 是點對點網絡庫,實現了節點發現、合約代碼傳輸、加密簽名等功能,這三者組合在一起就是完整的區塊鏈實現,後面兩個核心庫共同組成了協議層。
另外,go-ethereum 是 Go 語言的完整實現;Ethereum(J) 是純 Java 實現,它作為可以嵌入任何 Java/Scala 項目的庫提供。
客戶端方面,還有 Rust、Ruby、Javascript 等語言的實現。
- 官方網站:https://ethereum.org/
- 源碼庫:https://github.com/ethereum/pyethapp
Go
在多核時代,Go 語言備受喜愛,它可以讓你用同步方式輕鬆實現高並發,特別是在分布式系統、網絡編程等領域,應用非常廣。所以,在區塊鏈開發領域,也有很多使用 Go 語言的項目。
其中,由 Linux 基金會主導的超級帳本(HyperLeger),版本庫的名字叫 Fabric,就是其中一個。該項目試圖為新一代的事務應用創建一種開放的分布式帳本標準,支持許可式區塊鏈(這種方式可能無法再現比特幣那種強大的網絡效應)。
Fabric 的開發環境建立在 VirtualBox 虛擬機上,部署環境可以自建網絡,也可以直接部署在 BlueMix上,部署方式可 Docker 化,支持用 Go 和 JavaScript 開發智能合約。
它採用 PBFT 分布式算法,網絡編程方面用 gRPC 來做 P2P 通訊,使用 Protocol Buffer 來序列化要傳遞的數據結構。
在架構設計上,Fabric 可能與比特幣等區塊鏈產品有所不同,但是上述基本組成部分還是不可或缺的。
- 官方網站:https://www.hyperledger.org/
- 源碼庫:https://github.com/hyperledger
其他程式語言,比如 C# 等,也有具體實例,這裡就不再列舉。
總之,針對不同的程式語言,在具體的編碼或架構設計上可能有所差別,甚至很大,但是協議層所使用的技術並沒有太大的變化。
其中,網絡編程是重點和難點,多數沒有現成的框架可用,都是使用程式語言自身提供的庫來設計開發,所以比較底層,非常考驗開發者的編碼功底。
知識圖譜
循著上面的分析,我們已經可以了解區塊鏈是什麼,並知道怎麼實現了,順便梳理一下其中的編程技術知識,自然也就清晰多了。
根據個人的理解,我把與區塊鏈相關的知識分為下面 5 個方面:
基礎知識
區塊鏈是新技術,與之相關的是其背後大量的新概念、新理論。這些知識,雖然不直接體現在編碼里,但卻是理解區塊鏈,掌握區塊鏈技術的基本知識。所以,理當成為區塊鏈技術不可或缺的一部分。這部分從基本概念入手,到工作原理的描述,就能夠把區塊鏈基礎知識全部覆蓋。
技術實現
區塊鏈是一項技術,但從上面的分析可以看出,它應該是一種架構應用,架構的實現理當是我們知識庫的核心。正如大家看到的,任何一款區塊鏈產品,協議層必須包括點對點網絡、加密簽名、數據存儲、分布式算法等 4 個部分,應用層也必然要提供錢包、客戶端瀏覽器等基礎應用。所以,把這部分獨立出來,也是合情合理。
在擴展層的部分,區塊鏈技術可以對接各種應用,比如:金融、物聯網、網絡安全、版權保護、電子商務等等,現有的很多技術都可以用在這裡。只不過,如何與區塊鏈結合,如何實現跨行業使用,自然是這部分內容研究的課題。所以,這裡所羅列或涉及到的技術,理應歸為技術實現的一個重要部分。
開發環境
區塊鏈是多項技術的組合,有其自身的複雜性,個別應用對開發環境依賴較大,開發工具與環境搭建,是讓開發者快速上手的重要內容。
項目實踐
據說,短短數年,全球區塊鏈產品已經有幾千個,其中不乏創新應用。有些優秀的開源產品和項目實踐,是最好的學習研究資料。
開發文檔
這個自然不用說了,每一種產品也都會有自己的開發文檔。另一個,就是有心的開發者整理匯總的一些資源,可以幫助我們節省很多查詢的時間。
我在考慮這個知識體系的過程中,主要思考的是,讀者循著這些標籤去查閱文章,能否快速掌握區塊鏈技術,並最終上手開發實現一個區塊鏈產品。另外,也刻意規避了與具體程式語言,以及特定領域相關的詞彙,唯一可以區分的就是這些節點之下對應的文章標籤。
所以,這些分類就顯得非常中性。也考慮過使用比特幣、競爭幣、智能合約、數字資產、智能資產等具體領域的實現作為分類方法,但又怕限制了讀者的思維,同時隨著區塊鏈的發展,這個圖譜將不停的修改下去。這裡,呼籲一下,希望讀到這篇文章的小夥伴提供您的寶貴意見,讓我們把這個關於區塊鏈的知識分類圖譜做得更加科學合理,使用更加方便。
總結
本文將區塊鏈技術基礎架構描述了一下,需要再次強調的是,這僅僅是一種實現方式,絕非所有的區塊鏈產品都是如此,我們也期待更多創新出現,也相信一定會出現。
編程實現羅列了幾種程式語言與其實現的典型產品,因為協議層技術較為底層,並沒有太多現成的框架需要介紹或討論。同時,具體的技術細節也絕非幾行字能夠羅列清楚。所幸這些產品都是開源產品,大家可以結合自己的技術背景,進一步查看對應的產品源碼,很快就能了解其中的奧妙。
關注Java技術棧微信公眾號,在後台回復關鍵字:Java,可以獲取一份棧長整理的 Java 最新技術乾貨。