本教程使用proto3版本的protocol buffer語言,提供了一個基本的在Go程序中使用protocol buffer的介紹。通過創建一個簡單的示例應用程式,向你展示如何
- 在.proto文件中定義消息格式。
- 使用protoc編譯器編譯生成Go代碼。
- 使用Go的protocol buffer API讀寫消息。
它不是一個全面的在Go中使用protocol buffer的指南,更詳細的參考信息請查看前面的兩個教程。
Protobuf語言指南
Protobuf生成Go代碼指南
為什麼使用protocol buffer
我們將要使用的示例是一個非常簡單的「地址簿」應用程式,可以在文件中讀取和寫入人員的聯繫人詳細信息。地址簿中的每個人都有姓名,ID,電子郵件地址和聯繫電話號碼。
如何序列化和檢索這樣的結構化數據?有幾種方法可以解決這個問題:
- 使用gobs(Go中自定義的序列化編碼格式)序列化Go數據結構。這是Go特定環境中的一個很好的解決方案,但如果需要與為其他平台編寫的應用程式共享數據,它將無法正常工作。
- 可以發明一種特殊的方法將數據項編碼為單個字符串 - 例如將4個整數編碼為「12:3:-23:67」。這是一種簡單而靈活的方法,雖然它確實需要編寫一次性編碼和解析代碼,並且解析會產生較小的運行時成本。這最適合編碼非常簡單的數據。
- 將數據序列化為XML。這種方法非常有吸引力,因為XML(有點)是人類可讀懂的,並且有許多語言都有相應的類庫。如果您想與其他應用程式/項目共享數據,這可能是一個不錯的選擇。然而,XML是眾所周知的空間密集型,並且編碼/解碼它會對應用程式造成巨大的性能損失。此外,導航XML DOM樹比通常在類中導航簡單欄位要複雜得多。
protocol buffer是靈活,高效,自動化的解決方案,可以解決這個問題。使用protocol buffer,您可以編寫要存儲的數據結構的.proto描述。由此,protocol buffer編譯器會創建一個類,該類使用有效的二進位格式實現協議緩衝區數據的自動編碼和解析。生成的類會為構成protocol buffer的欄位提供getter和setter,並負責將protocol buffer作為一個單元讀取和寫入的細節。重要的是,protocol buffer格式支持隨著時間的推移擴展格式的想法,使得代碼仍然可以讀取使用舊格式編碼的數據。
獲得示例程序
示例是一組用於管理地址簿數據文件的命令行應用程式,使用protocol buffer進行編碼。命令add_person_go向數據文件添加新條目。命令list_people_go解析數據文件並將數據列印到控制台。
下載這些文件到你的項目目錄中:
- 描述protocol buffer消息格式的.proto文件 addressbook.proto
- 命令行程序add_person.go,list_people.go
定義協議格式
要創建地址簿應用程式,您需要從.proto文件開始。 .proto文件中的定義很簡單:為要序列化的每個數據結構定義消息,然後為消息中的每個欄位指定名稱和類型。在我們的示例中,定義消息的.proto文件是addressbook.proto。
.proto文件以包聲明開頭,這有助於防止不同項目之間的命名衝突。
在Go中,protocol buffer的包名稱用作Go包,除非您指定了go_package。即使你確實提供了go_package,你仍然應該在.proto文件中定義一個包名,以避免在Protocol Buffers命名空間和非Go語言中發生名稱衝突。
接下來,是消息定義。消息只是包含一組類型欄位的聚合。許多標準的簡單數據類型都可用作欄位類型,包括bool,int32,float,double和string。您還可以使用其他消息類型作為欄位類型,為消息添加更多結構。
缺圖????
在上面的示例中,Person消息包含PhoneNumber消息,而AddressBook消息包含Person消息。您甚至可以定義嵌套在其他消息中的消息類型 - 如您所見,PhoneNumber類型在Person中定義。如果您希望其中一個欄位值的取值範圍是預定義的值列表中的值,還可以定義枚舉類型 - 此處你要指定電話號碼可以是MOBILE,HOME或WORK之一。
每個元素上的「= 1」,「= 2」標記標識該欄位在二進位編碼中使用的唯一「標記」。標籤號1-15編碼時比更大編號少需要一個位元組,因此作為優化,您可以決定將這些標籤用於常用或重複的元素,將標籤16和更高標籤留給不太常用的可選元素。重複欄位中的每個元素都需要重新編碼標記號,因此重複欄位特別適合此優化。
如果未設置欄位值,則使用默認值:數字類型為零,字符串為空字符串,bools為false。對於嵌入式消息,默認值始終是消息的「默認實例」或「原型」,其中沒有設置其欄位。調用訪問器以獲取尚未顯式設置的欄位的值始終返回該欄位的默認值。
如果一個欄位是可重複的,該欄位可以重複任意次數(包括零)。重複值的順序將保留在protocol buffer中。將可重複欄位視為變長數組。
您將在Protobuf語言指南中找到編寫.proto文件的完整指南 - 包括所有可能的欄位類型。不要去尋找類繼承類似的東西,protocol buffer不支持這些。
編譯protocol buffers
有了.proto後,你需要做的下一件事是生成你需要讀取和寫入AddressBook(以及Person和PhoneNumber)消息所需的類(Go中是結構體和結構體方法)。為此,你需要在.proto上運行protocol buffer譯器protoc:
- 請先確保已經安裝了編譯器protoc
- protoc需要安裝插件才能編譯生成Go代碼,可以運行如下命令安裝插件
go get -u github.com/golang/protobuf/protoc-gen-go
- 現在運行編譯器,指定源目錄(應用程式的原始碼所在的位置 - 如果不提供值,則使用當前目錄),目標目錄(您希望生成的代碼在哪裡;通常與$相同) SRC_DIR),以及.proto的路徑。在這種情況下,你...:
protoc -I=$SRC_DIR --go_out=$DST_DIR $SRC_DIR/addressbook.proto
我們使用的示例go代碼中導入編譯後的pb.go文件的路徑是 pb "github.com/protocolbuffers/protobuf/examples/tutorial" 所以用protoc編譯時使用的目標路徑應該是
protoc --go_out=$GOPATH/src/github.com/protocolbuffers/protobuf/examples/tutorial ./addressbook.proto
$GOPATH/src/github.com/protocolbuffers/protobuf/examples/tutorial目錄需要提前創建好。
Protocol buffer API
生成addressbook.pb.go提供以下有用類型:
- 擁有有People欄位的AddressBook結構體。
- 擁有Name,Id,Email和Phones欄位的Person結構體。
- Person_PhoneNumber結構體,包含Number和Type欄位。
- 類型Person_PhoneType和為Person.PhoneType枚舉中的每個值定義的常量。
可以閱讀更多有關「生成代碼」指南中生成的內容的詳細信息,但在大多數情況下,您可以將這些視為完全普通的Go類型。
行動勝千言,下載教程中提供的代碼,運行上面的編譯命令,去看看生成的addressbook.pb.go中的代碼吧。
- 下面是如何創建Person實例的示例:
在Go中序列化protocol buffer數據
使用protocl buffer目的是序列化你的結構化數據,以便可以在其他地方解析它。在Go中,使用proto庫的Marshal函數來序列化protocol buffer數據。指向消息的結構體的指針實現了proto.Message接口。調用proto.Marshal會返回以其有線格式編碼的protocol buffer。例如,我們在add_person命令中使用此函數:
在Go中解析protocol buffer
要解析編碼消息,請使用proto庫的Unmarshal函數。調用它將buf中的數據解析為protocol buffer,並將結果放在結構體中。因此,要在list_people命令中解析文件,我們使用:
運行Go應用程式
- 命令行中運行go build add_person.go 和 go build list_people.go 會生成兩個二進位文件add_person和list_people。
- 命令行運行 ./add_person ADDRESS_BOOK 程序會在命令行中提示輸入,用命令行的輸入構建地址簿數據然後將數據序列化為protocol buffer存儲到文件ADDRESS_BOOK中。
- 命令行運行./list_people 程序會從文件ADDRESS_BOOK讀取protocol buffer數據,解析到結構體中然後列印出結構體中的Person數據。
原文連結:https://segmentfault.com/a/1190000020444017
本文作者:KevinYan