protocol buffers 使用方法

Posted 2022-11-29 xiaoshiwang

protocol buffers 使用方法

为什么使用 Protocol Buffers

我们接下来要使用的例子是一个非常简单的"地址簿"应用程序，它能从文件中读取联系人详细信息。地址簿中的每一个人都有一个名字、ID、邮件地址和联系电话。

如何序列化和获取结构化的数据？这里有几种解决方案：

• 以二进制形式发送/接收原生的内存数据结构。通常，这是一种脆弱的方法，因为接收/读取代码必须基于完全相同的内存布局、大小端等环境进行编译。同时，当文件增加时，原始格式数据会随着与该格式相关的软件而迅速扩散，这将导致很难扩展文件格式。
• 你可以创造一种 ad-hoc 方法，将数据项编码为一个字符串——比如将 4 个整数编码为 12:3:-23:67。虽然它需要编写一次性的编码和解码代码且解码需要耗费一点运行时成本，但这是一种简单灵活的方法。这最适合编码非常简单的数据。
• 序列化数据为 XML。这种方法是非常吸引人的，因为 XML 是一种适合人阅读的格式，并且有为许多语言开发的库。如果你想与其他程序和项目共享数据，这可能是一种不错的选择。然而，众所周知，XML 是空间密集型的，且在编码和解码时，它对程序会造成巨大的性能损失。同时，使用 XML DOM 树被认为比操作一个类的简单字段更加复杂。

Protocol buffers 是针对这个问题的一种灵活、高效、自动化的解决方案。使用 Protocol buffers，你需要写一个 .proto 说明，用于描述你所希望存储的数据结构。利用 .proto 文件，protocol buffer 编译器可以创建一个类，用于实现对高效的二进制格式的 protocol buffer 数据的自动化编码和解码。产生的类提供了构造 protocol buffer 的字段的 getters 和 setters，并且作为一个单元来处理读写 protocol buffer 的细节。重要的是，protocol buffer 格式支持格式的扩展，代码仍然可以读取以旧格式编码的数据。

安装：
https://github.com/protocolbuffers/protobuf/blob/master/src/README.md

.proto的文件的源代码：

// [START declaration]
syntax = "proto3";
package tutorial;

import "google/protobuf/timestamp.proto";
// [END declaration]
 
// [START messages]
message Person 
  string name = 1;
  int32 id = 2;  // Unique ID number for this person.
  string email = 3;

  enum PhoneType 
    MOBILE = 0;
    HOME = 1;
    WORK = 2;
  

  message PhoneNumber 
    string number = 1;
    PhoneType type = 2;
  

  repeated PhoneNumber phones = 4;
  google.protobuf.Timestamp last_updated = 5;


// Our address book file is just one of these.
message AddressBook 
  repeated Person people = 1;

// [END messages]

这里，我们对.proto文件所使用的语法进行简单讲解。

1）protobuf使用的.proto文件以包声明开始，包声明和C++中的namespace对应，在某个包声明中定义的消息，会出现在对应的namespace命名空间中。import语句用来导入其他.proto文件中的消息定义，这样就可以在多个.proto文件中定义消息，然后关联使用了。

2）然后，你需要定义消息结构。一个消息包括多个带类型的成员。protobuf有许多标准的简单数据类型，包括bool, int32, float，double以及string, protobuf自带的.proto文件中也有一些消息结构定义，例如上面出现的google.protobuf.Timestamp。当然，你也可以根据这些类型，进一步构造其他消息，例如上面的Person包含了PhoneNumber消息，AddressBook包含了Person消息。你也可以在其他消息中定义消息类型，例如上面出现在PhoneNUmber在Person中进行定义。你还可以定义enum类型，例如上面的PhoneType，包含MOBILE,HOME和WORK三个可选值。

“=1”， “=2”是用来在二进制编码中标识对应字段的tag。tag在1-15范围内只需要一个byte来编码，而较大的数字需要两个byte来编码，所以对于常用的那些字段，可以使用1-15范围内的tag。

另外，每一个tag可以使用如下修饰符修饰：

（1）singular: 表示这个字段可以有一个，也可以没有。如果没有的话，在编码的时候，不会占用空间。

（2）repeated: 表示这个字段会重复0次或者更多次，这个字段里的值会按照顺序编码。

1. 定义完了.proto文件，下一步就是编译这个proto文件，我们假设这个proto文件名为addressbook.proto。为了编译这个文件，运行如下的语句：

protoc -I=$SRC_DIR --cpp_out=$DST_DIR $SRC_DIR/address.proto

其中-I指定proto文件所在的位置，$DST_DIR指定生成文件所在的位置，这里--cpp_out表示生成文件为C++文件，生成目录在$DST_DIR，$SRC_DIR/addressbook.proto。

如果你在proto所在文件调用上述命令，可以简写如下：

protoc --cpp_out=. addressbook.proto

调用上述命令，生成的文件为addressbook.pb.h和addressbook.pb.cc。可以推测，对于xxx.proto，生成文件应该为xxx.pb.h和xxx.pb.cc。

做成pb格式的文件：

#include <ctime>
#include <fstream>
#include <google/protobuf/util/time_util.h>
#include <iostream>
#include <string>

#include "addressbook.pb.h"

using namespace std;

using google::protobuf::util::TimeUtil;

// This function fills in a Person message based on user input.
void PromptForAddress(tutorial::Person* person) 
  cout << "Enter person ID number: ";
  int id;
  cin >> id;
  person->set_id(id);
  cin.ignore(256, '\\n');

  cout << "Enter name: ";
  getline(cin, *person->mutable_name());

  cout << "Enter email address (blank for none): ";
  string email;
  getline(cin, email);
  if (!email.empty()) 
    person->set_email(email);
  

  while (true) 
    cout << "Enter a phone number (or leave blank to finish): ";
    string number;
    getline(cin, number);
    if (number.empty()) 
      break;
    

    tutorial::Person::PhoneNumber* phone_number = person->add_phones();
    phone_number->set_number(number);

    cout << "Is this a mobile, home, or work phone? ";
    string type;
    getline(cin, type);
    if (type == "mobile") 
      phone_number->set_type(tutorial::Person::MOBILE);
     else if (type == "home") 
      phone_number->set_type(tutorial::Person::HOME);
     else if (type == "work") 
      phone_number->set_type(tutorial::Person::WORK);
     else 
      cout << "Unknown phone type.  Using default." << endl;
    
  
  *person->mutable_last_updated() = TimeUtil::SecondsToTimestamp(time(NULL));


// Main function:  Reads the entire address book from a file,
//   adds one person based on user input, then writes it back out to the same
//   file.
int main(int argc, char* argv[]) 
  // Verify that the version of the library that we linked against is
  // compatible with the version of the headers we compiled against.
  GOOGLE_PROTOBUF_VERIFY_VERSION;

  if (argc != 2) 
    cerr << "Usage:  " << argv[0] << " ADDRESS_BOOK_FILE" << endl;
    return -1;
  

  tutorial::AddressBook address_book;

  
    // Read the existing address book.
    fstream input(argv[1], ios::in | ios::binary);
    if (!input) 
      cout << argv[1] << ": File not found.  Creating a new file." << endl;
     else if (!address_book.ParseFromIstream(&input)) 
      cerr << "Failed to parse address book." << endl;
      return -1;
    
  

  // Add an address.
  PromptForAddress(address_book.add_people());

  
    // Write the new address book back to disk.
    fstream output(argv[1], ios::out | ios::trunc | ios::binary);
    if (!address_book.SerializeToOstream(&output)) 
      cerr << "Failed to write address book." << endl;
      return -1;
    
  

  // Optional:  Delete all global objects allocated by libprotobuf.
  google::protobuf::ShutdownProtobufLibrary();

  return 0;

解析pb文件

#include <fstream>
#include <google/protobuf/util/time_util.h>
#include <iostream>
#include <string>

#include "addressbook.pb.h"

using namespace std;

using google::protobuf::util::TimeUtil;

// Iterates though all people in the AddressBook and prints info about them.
void ListPeople(const tutorial::AddressBook& address_book) 
  for (int i = 0; i < address_book.people_size(); i++) 
    const tutorial::Person& person = address_book.people(i);

    cout << "Person ID: " << person.id() << endl;
    cout << "  Name: " << person.name() << endl;
    if (person.email() != "") 
      cout << "  E-mail address: " << person.email() << endl;
    

    for (int j = 0; j < person.phones_size(); j++) 
      const tutorial::Person::PhoneNumber& phone_number = person.phones(j);

      switch (phone_number.type()) 
        case tutorial::Person::MOBILE:
          cout << "  Mobile phone #: ";
          break;
        case tutorial::Person::HOME:
          cout << "  Home phone #: ";
          break;
        case tutorial::Person::WORK:
          cout << "  Work phone #: ";
          break;
        default:
          cout << "  Unknown phone #: ";
          break;
      
      cout << phone_number.number() << endl;
    
    if (person.has_last_updated()) 
      cout << "  Updated: " << TimeUtil::ToString(person.last_updated()) << endl;
    
  


// Main function:  Reads the entire address book from a file and prints all
//   the information inside.
int main(int argc, char* argv[]) 
  // Verify that the version of the library that we linked against is
  // compatible with the version of the headers we compiled against.
  GOOGLE_PROTOBUF_VERIFY_VERSION;

  if (argc != 2) 
    cerr << "Usage:  " << argv[0] << " ADDRESS_BOOK_FILE" << endl;
    return -1;
  

  tutorial::AddressBook address_book;

  
    // Read the existing address book.
    fstream input(argv[1], ios::in | ios::binary);
    if (!address_book.ParseFromIstream(&input)) 
      cerr << "Failed to parse address book." << endl;
      return -1;
    
  

  ListPeople(address_book);

  // Optional:  Delete all global objects allocated by libprotobuf.
  google::protobuf::ShutdownProtobufLibrary();

  return 0;

执行命令:?

$ g++ addressbook.pb.cc write.cpp -o write `pkg-config --cflags --libs protobuf`

关于命令pkg-config的用法：https://blog.csdn.net/luotuo44/article/details/24836901

• --cflags：相当于【-I】(大写的i)属性
• --libs：相当于【-L】 和【-l】（小写的L）属性

pkg-config能够省略编译时的一堆参数

c/c++ 学习互助QQ群：877684253

本人微信：xiaoshitou5854