[系统运维]C++项目：云备份

项目简介

实现一个类似于云盘的功能来备份客户端的文件，服务器根据客户端的请求进行处理，并根据热点管理进行压缩存储，客户端也可以自行下载文件，且服务器端支持通过浏览器进行查看与下载以及断点续传功能。

环境配置

linux，VS019，高版本g++ jsoncpp httplib和bundle库的安装

代码：cloudbackup: 云备份项目

工具介绍

使用httplib库进行http服务器的搭建，我们更关注服务器的业务处理。

使用bundle库进行压缩解压缩存储

使用jsoncpp库对于内存中的文件进行持久化存储到我们的磁盘中

项目模块

客户端

客户端部署在我们的Windows上实现针对客户端主机上的指定文件夹的文件，自动进行监测判断是否需要备份，需要则上传到服务器备份处理。

分为三个部分：目录检测、数据管理以及网络通信模块

目录检测模块

采用C++17的filesystem遍历指定目录，判断是否需要备份。

网络通信模块

使用httplib库搭建服务器将需要备份的文件以及备份信息上传到服务器上

数据管理模块

记录客户端的历史备份信息，能够让我们根据历史备份信息确定客户端某个文件需要上传备份

文件需要备份的种类：

1.没有历史备份信息，表示他是一个新增文件

2.具有历史备份信息，但是当前文件被修改过了

只需要管理文件路径名和文件唯一标识符ETag。

管理的结构：

1.内存中使用查询效率更高的哈希表存储

2.持久化存储使用文件（以key-value形式存储备份信息）。

具体操作有插入，更新，删除，检索一个文件，检索所有文件。

服务端

服务端部署在我们的linux服务器上实现针对客户端请求的业务进行处理。

分为四个部分：网络通信模块、热点管理模块、业务处理模块以及数据管理。

网络通信模块

在这部分我使用httplib库搭建http服务器，我们更加关注的是对于客户端请求的处理，比如上传，查看页面，下载。自定义我们服务端的业务处理。

热点管理模块

功能：对备份目录下的文件进行监测，如果文件的最近一次访问时间超过了热点时间（30秒内），如果超过了就表示这是一个非热点文件，进行压缩，压缩成功之后，通过数据管理模块对文件修改备份信息，压缩标识修改为已压缩。

实现：

1.遍历文件备份目录-得到源文件存储路径，获取目录下的所有文件的实际路径名

2.遍历所有文件名，通过文件路径名获取文件的最后一次访问时间

3.获取系统当前时间，与文件最后一次访问时间进行相减，判断如果大于热点判断时间，则判断文件为非热点文件，进行压缩。

4.压缩完毕后，进行修改备份信息

数据管理模块

功能：

文件信息通过结构体来保存，将多个文件信息放入到哈希表里组织管理使用unordered_map<string,string>;并且使用jsoncpp实现文件的持久化存储。

业务处理模块

在网络通信模块基础上进行针对客户端的操作。

HTTP服务器断点续传

当下载一个文件的时候，下载到一半，因为网络或者其他原因导致下载中断，下次下载如果需要重传，那么效率就会很低，因此我们需要实现一个断点续传功能，从上次下载断开的位置重新下载，提高效率；

实现原理：有一端能够记录自己的传输的位置，也就是客户端记录自己已经下载的数据长度和位置，当中途下载中断，以后再次请求时，将自己所需要的指定文件的区间范围发送给服务器，服务器根据指定区间文件的数据进行返回。

支持断点续传的http

响应字段状态响应码：206 Partial Content? 部分响应，整体传输使用200；

Content-Range：bytes 200-1000/67543：文件从200偏移开始到1000位置的数据

ETag：文件唯一标识符

通过ETag字段判断续传还是重传。如果请求中的if-range字段的etag信息和文件当前计算得到的信息不一致，则表示文件已经修改过，则响应200，重新从头传输

项目特点

使用httplib搭建服务器，使用到json序列化，C++17的文件管理，压缩解压缩，线程池和断点续传。数据管理模块使用哈希管理内存中数据，信息使用文件的json序列化实现信息持久化存储。

检索服务器上的备份文件，判断文件是否是热点文件，对非热点文件进行压缩存储，减少开销。

服务器的业务处理，根据客户端业务请求自定义进行业务处理。

项目需要改进的问题

没有一个好看的前端界面。

实现用户管理，每位客户一个文件夹。

客户端限速，收费再放开（类似网盘的“吃相”）