[C++知识库]c++大数据量压缩方法——基于数据位的数据解析方法

? ? ? ? 在项目中用到了基于数据库的大数据量存取时，我们要考虑的是数据读取速度，及数据存储大小，往往数据存储量大的话，数据读取速度也会随之降低，所以我们降低数据存储大小的方法，一是，使用位单位来存储数据，尽量压缩数据大小；二是，在将数据量控制在最小后，数据依旧大，那么我们需要使用压缩算法进行压缩；
? ? ? ? 在这次项目中我们使用Redis存储数据，使用一个key存储了张图像（二维数组），然而redis数据量越大，在查询的时候速度越慢，所以我们要将数据尽量压缩，直接方式是存储为二进制，但是二进制的方式不存在空间浪费，那么我们需要再按不同数据，按不同的位数存储，尽量节省空间。按位解析的代码如下：??

bool ReadOneBit(char *buff,int buffSize,int nStart,int &nEnd,unsigned char &retByte)
{
	int index = nStart / 8;
	if (index >= buffSize)
		return false;
	unsigned char btData= buff[nStart / 8];
	btData = btData << nStart % 8;
	retByte = btData >> 7;
	nEnd = nStart + 1;
	return true;
}

template<typename T>
bool ParseFromBuff(char *buff, int buffSize, int nStart,int len,int &nEnd,T &retData)
{
	int lenT = len -1;
	retData = 0;
	if (len > sizeof(T) * 8)
		return false;

	unsigned char btData;
	T tData;
	while (len--)
	{
		bool ret = ReadOneBit(buff, buffSize,nStart,nStart,btData);
		if (!ret)
			return false;
		tData = ((T)btData) << (lenT -len);
		retData |= tData;
	}
	nEnd = nStart;
	return true;
}

调用方法如下：

char *buff = const_cast<char *>(val.c_str());
int index = 0;

//性别
if (!ParseFromBuff(buff, val.size(), index, 1, index, person.male))	
	return false;
//年龄
if (!ParseFromBuff(buff, val.size(), index, 8, index, person.age))	
	return false;
//社会角色
if (!ParseFromBuff(buff, val.size(), index, 3, index, person.sRole)) 
	return false;
//家庭角色
if (!ParseFromBuff(buff, val.size(), index, 2, index, person.fRole)) 
	return false;
//解析时间序列长度
int timeNum = 0;
if (!ParseFromBuff(buff, val.size(), index, 8, index, timeNum))	
	return false;