Redis一条命令的执行 – AOF源码分析
(本文章基于redis 5.0)
aof的配置比较简单，熟练的DBA都知道通过如下方式配置
appendonly no # aof开关，默认关闭
appendfilename "appendonly.aof" # 保存的文件名，默认appendonly.aof
# 有三种刷数据的策略
appendfsync always # always是只要有数据改动，就把数据刷到磁盘里，最安全但性能也最差
appendfsync everysec # 每隔一秒钟刷一次数据，数据安全性和性能折中，这也是redis默认和推荐的配置。
appendfsync no # 不主动刷，什么时候数据刷到磁盘里取决于操作系统，在大多数Linux系统中每30秒提交一次，性能最好，但数据安全性最差。
AOF日志的又是怎么实现的呢？如下是aof文件的代码分析
AOF 代码分析
redis命令的执行，依赖于server.c文件的CALL()方法.
server.c中的void call(client *c, int flags)是redis接受到client请求后处理请求的入口，其中会检测Redis中的数据有没有发生变化。如果有变化就会执行propagate()函数。
关于CALL()方法的描述，在代码的备注中有如下描述:
* Call() is the core of Redis execution of a command.
* 在执行call方法时，通过如下过程调用执行command
{
...
/* Call the command. */
dirty = server.dirty;
updateCachedTime(0);
start = server.ustime;
c->cmd->proc(c); // 这里执行命令
duration = ustime()-start;
dirty = server.dirty-dirty;
if (dirty < 0) dirty = 0;
...
}
传递到propagate()函数后，做了什么事情呢？
这个函数在代码的备注中，意思是说在指定的数据库ID的背景下,传播指定的命令到AOF和Slave。也就是它负责把命令写到aof中，同时去做主从复制。
void propagate(struct redisCommand *cmd, int dbid, robj **argv, int argc,
int flags)
{
if (server.aof_state != AOF_OFF && flags & PROPAGATE_AOF)
feedAppendOnlyFile(cmd,dbid,argv,argc);
if (flags & PROPAGATE_REPL)
replicationFeedSlaves(server.slaves,dbid,argv,argc);
}
这个文章就只看第一个函数: feedAppendOnlyFile(cmd,dbid,argv,argc);
AOF日志的生成
void feedAppendOnlyFile(int dictid, robj **argv, int argc) {
sds buf = sdsempty();
serverAssert(dictid >= 0 && dictid < server.dbnum);
/* Feed timestamp if needed */
if (server.aof_timestamp_enabled) {
sds ts = genAofTimestampAnnotationIfNeeded(0);
if (ts != NULL) {
buf = sdscatsds(buf, ts);
sdsfree(ts);
}
}
/* The DB this command was targeting is not the same as the last command
* we appended. To issue a SELECT command is needed. */
/*如果你执行的命令跟当前的db是不一致的，要写select 命令*/
if (dictid != server.aof_selected_db) {
char seldb[64];
snprintf(seldb,sizeof(seldb),"%d",dictid);
buf = sdscatprintf(buf,"*2\r\n$6\r\nSELECT\r\n$%lu\r\n%s\r\n",
(unsigned long)strlen(seldb),seldb);
server.aof_selected_db = dictid;
serverLog(LL_NOTICE,"此处为代码测试_serverlog,aof select命令 *2\r\n$6\r\nSELECT\r\n$%lu\r\n%s\r\n",
(unsigned long)strlen(seldb),seldb);
// 固定格式 *2 作为第一行，$6作为第二行，SELECT，$长度，$值
}
/* All commands should be propagated the same way in AOF as in replication.
* No need for AOF-specific translation. */
/* 所有命令在AOF中的传播方式应与复制中的传播方式相同。不需要针对AOF的翻译。 */
buf = catAppendOnlyGenericCommand(buf,argc,argv);
/* Append to the AOF buffer. This will be flushed on disk just before
* of re-entering the event loop, so before the client will get a
* positive reply about the operation performed. */
if (server.aof_state == AOF_ON ||
server.child_type == CHILD_TYPE_AOF)
{
server.aof_buf = sdscatlen(server.aof_buf, buf, sdslen(buf));
}
sdsfree(buf);
}
sds catAppendOnlyGenericCommand(sds dst, int argc, robj **argv) {
// sds是redis自己针对string做的修改
// 是一个string api
// 参考大佬的文章 https://blog.csdn.net/weixin_39993322/article/details/112115086
char buf[32];
int len, j;
robj *o;
buf[0] = '*'; // 每个命令以* 开头，*后面的数字表示此次命令一共会有几个字段，
// $表示要写入的数据(要以string写入到文件中)，$后面的数字表示当前的这个string的长度
// 比如 set a 1 表示为*3 set为$3 a为$1 1为$1
// *3
// $3
// set
// $1
// a
// $1
// 1
// SET key-with-expire-time "hello" EX 1008612 表示为
// *5
// $3
// SET
// $20
// key-with-expire-time
// $5
// hello
// $4
// PXAT
// $13
// 1651130525053
len = 1+ll2string(buf+1,sizeof(buf)-1,argc);
buf[len++] = '\r';
buf[len++] = '\n';
dst = sdscatlen(dst,buf,len);
for (j = 0; j < argc; j++) {
o = getDecodedObject(argv[j]); // 这里解析当前函数接收到的内容 o是一个 robj结构(redis自己实现的 RedisObject )，
// 可以保证命令执行前验证是否正确，不正确解析的时候会报错err
buf[0] = '$';
len = 1+ll2string(buf+1,sizeof(buf)-1,sdslen(o->ptr));
buf[len++] = '\r';
buf[len++] = '\n';
dst = sdscatlen(dst,buf,len);
dst = sdscatlen(dst,o->ptr,sdslen(o->ptr));
dst = sdscatlen(dst,"\r\n",2);
decrRefCount(o);
}
/* 上方代码实现的作用: */
/* dst为要写入aof的文件的内容 */
/* */
// serverLog(LOG_NOTICE,"dst这里返回的是:%s",dst);
return dst;
}
AOF文件规则总结
每个命令以* 开头，*后面的数字表示此次命令一共会有几个字段，
$表示要写入的数据(要以string写入到文件中)，$后面的数字表示当前的这个string的长度
比如
1、set a 1 表示为*3 set为$3 a为$1 1为$1
*3
$3
set
$1
a
$1
1
2、SET key-with-expire-time "hello" EX 1008612 表示为
*5
$3
SET
$20
key-with-expire-time
$5
hello
$4
PXAT
$13
1651130525053
深度思考
redis是如何实现特殊的字符处理的呢？
如 set testkey "a\\r\n"
答案在robj结构体里。我现在也没搞懂
参考和感谢
参考大佬分析笔记的一小部分
https://blog.csdn.net/xindoo/article/details/115447240
感谢聪明机智善于分享的大佬，自己研究后不忘分享给其他小弟，让他人快速学习知识。大佬666。
