[网络协议] 搜狗workflow——C++并行计算与异步网络引擎序列化与反序列化代码分析（一）

开发: C++知识库 Java知识库 JavaScript Python PHP知识库人工智能区块链大数据移动开发嵌入式开发工具数据结构与算法开发测试游戏开发网络协议系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑笔记本显卡显示器固态硬盘硬盘耳机手机 iphone vivo oppo 小米华为单反装机图拉丁

-> 网络协议 -> 搜狗workflow——C++并行计算与异步网络引擎序列化与反序列化代码分析（一） -> 正文阅读

[网络协议]搜狗workflow——C++并行计算与异步网络引擎序列化与反序列化代码分析（一）

2021SC@SDUSC

一. 简单介绍序列化与反序列化

? ?

? ? ? ?对象的序列化（Serialization），即把一个对象以流的方式，写入到文件中保存，叫写对象，也叫对象序列化，对象中包含的不仅仅是字符，使用字节流。

? ? ? ?对象的反序列化（deserailization），即把文件中保存的对象，以流的方式读取出来，叫做读取对象，也叫对象的反序列。读取的文件保存的都是字节，使用字节流。

对象序列化的作用：在传递,和保存对象(object)的时候,保证对象的完整性和可传递性。

? ? ? ?在翻看其它文章时发现底下有个评论很棒，概括得很全面：序列化是指把一个对象变成二进制内容，本质上就是一个byte[]数组。为什么要把对象序列化呢？因为序列化后可以把byte[]保存到文件中，或者把byte[]通过网络传输到远程，这样，就相当于把对象存储到文件或者通过网络传输出去了。有序列化，就有反序列化，即把一个二进制内容（也就是byte[]数组）变回对象。有了反序列化，保存到文件中的byte[]数组又可以“变回对象，或者从网络上读取byte[]并把它“变回”对象。

二.协议与序列化的关系

关于协议：需要在发送请求的时候定一个边界，在请求收到的时候按照这个设定的边界进行数据分割，避免语义不一致的事情发生，而这个边界语义的表达，就是所谓的协议。

协议层是凌驾于序列化层之上的一层。协议层和序列化层之间还有传输层，动态代理层。

protocol 层主要用于配置 refer（发现服务）和 exporter（暴露服务）的实现方式，transport 层定义了传输的方式，codec 层诠释了具体传输过程中报文解析的方式，serialize 层负责将对象转换成字节，以用于传输，proxy 层负责将这些细节屏蔽。
它们的包含关系如下：protocol > transport > codec > serialize

用户自定义协议，需要提供协议的协议的序列化和反序列化方法。

三.关于workflow的序列化接口

实现序列化的方案有很多，如JSON/XML，众多的序列化方案中，按照存储方案，可分为字符串存储和二进制存储，字符串存储是可读的，但是由于以上问题，这里只考虑二进制存储。二进制存储中可分为需要IDL和不需要IDL，或分为自描述与非自描述（反序列化是否需要IDL）。

workflow采取的是IDL序列化：

需要IDL的使用过程

使用该方案所定义的IDL语法编写schema
使用该方案提供的编译器将schema编译成生产方和消费方所用语言的代码（类或者模块）
数据生产方引用该代码，根据其接口，构建数据，并序列化
消费方引用该代码，根据其接口读取数据

在workflow中，?在ProtocolMessage.h里，序列化反序列化接口如下：

namespace protocol
{

class ProtocolMessage : public CommMessageOut, public, CommMessageIn
{
private:
    virtual int encode(struct iovec vectors[], int max) = 0;//encode函数为序列化函数
    virtual int append(const char *buf, size_t size) = 0;//append函数为反序列化函数
    ...
};

}

在上述接口中定义了两个函数，其中encode函数为序列化函数，append函数为反序列化函数。

encode函数：

encode函数在消息被发送之前调用，每条消息只调用一次。
encode函数里，用户需要将消息序列化到一个vector数组，数组元素个数不超过max。目前max的值为8192。
结构体struct iovec定义在请参考系统调用readv和writev。
encode函数正确情况下的返回值在0到max之间，表示消息使用了多少个vector。
- 如果是UDP协议，请注意总长度不超过64k，并且使用不超过1024个vector（Linux一次writev只能1024个vector）。
  - UDP协议只能用于client，无法实现UDP server。
encode返回-1表示错误。返回-1时，需要置errno。如果返回值>max，将得到一个EOVERFLOW错误。错误都在callback里得到。
为了性能考虑vector里的iov_base指计指向的内容不会被复制。所以一般指向消息类的成员。

扩展知识：IO流程中的io向量：iovec

为了提高从磁盘读取数据到内存的效率，引入了IO向量机制，IO向量即struct iovec，主要在API接口在readv和writev中使用。

struct iovec成为IO向量，其结构如下；

#include <sys/uio.h>

struct iovec{

????? void *iov_base; /* pointer to the start of buffer */

????? size_t iov_len; /* size of buffer in bytes */

}

很明显，iov_base作为一个指针，用于记录buffer地址(一般为用户态地址)，iov_len表示buffer的大小。

在用户态或内核态中使用时，一般均采用指针的形式：struct?iovec?*iov。当然一般也给出其元素的个数count。