pipeline (流水线)允许 Redis 客户端一次向 Redis 发送多个命令,避免了多条指令发送多次网络请求。影响处理速度。
在C,C++中,Hiredis 提供了redisAppendCommand()函数来实现流水线的命令发送方案
redisAppendCommand()会先将命令缓存起来,在调用redisGetReply()方法后一次性将命令发送给redis,并取得第一个命令的返回结果。
在作者使用过程中,需要将原有匹配的数据scan出来,再发请求获取对应key的value,然后替换原有key,生成新的一条数据,写入redis,再删除原有的那条数据。如此操作100万条数据,时间长达10分钟以上。
改用pipeline读写后,每次操作1万条数据,100万条数据大概用时10秒。
相比较于单条操作性能提升几百倍
#include <iostream>
#include<hiredis/hiredis.h>
#include <vector>
int pipeline_process(struct timeval access_timeout, std::vector <std::string> &pipeline_cmd,
std::vector <std::string> &pipeline_resp, std::vector<int> &pipeline_resp_type) {
if (0 == context) { return -1; }
redisSetTimeout(context, access_timeout);
for (int i = 0; i < pipeline_cmd.size(); i++) {
redisAppendCommand(context, pipeline_cmd[i].c_str());
}
for (int i = 0; i < pipeline_cmd.size(); i++) {
int type = -1;
std::string resp_str = "";
redisReply *reply = 0;
int reply_status = redisGetReply(context, (void **) &reply);
if (reply_status == REDIS_OK && reply != NULL) {
type = reply->type;
if (reply->str != NULL) {
resp_str = reply->str;
}
} else {
printf("pipeline_process error i :%d cmd : %s", i, pipeline_cmd[i].c_str());
}
freeReplyObject(reply);
pipeline_resp_status.push_back(type);
pipeline_resp.push_back(resp_str);
}
return 0;
}
REDIS_REPLY_STRING : 1
REDIS_REPLY_ARRAY : 2
REDIS_REPLY_INTEGER :3
REDIS_REPLY_NIL : 4
REDIS_REPLY_STATUS : 5
REDIS_REPLY_ERROR : 6