mongodb C driver的异步查询

  最近在选用NOSQL数据库的时候最终选择了mongodb, 感觉其各方面都很优秀, 于是为服务器增加了一组mongodb的接口, 以方便LUA逻辑层使用.

 

  驱动方面选用了官方指定的C DRIVER, 大家有兴趣的可以直接去mongodb的官网上查找, 不过查看了其mongo_find接口发现为同步调用, 这在服务器并发应用方面会受到限制, 通常服务器为了提高并发处理效率会使用异步接口. 开始的时候比较偷懒, 在其官网上留言想让其driver开发人员帮忙添加异步调用接口, 这事情也就先放下了... 2天过后, 等我想要接着制作的时候, 再次查看了官网动态... 发现死气沉沉的毫无反应... 我个人还算是比较勤快, 好在driver代码实在好读, 这点让我很佩服, 仔细的分析了下原尾, 决定自己为其添加一组异步调用接口 :)

 

  ok, let's do it :) 

 

  由于鄙人资历经验尚浅... 如有不妥之处, 欢迎各位及时指正.

 

 思路:

  我们知道LUA中提供coroutine, 这极大的方便了我们开发异步调用, 首先, 我们需要明确异步查询流程: LUA脚本层发起查询请求, 调用引擎层接口发送查询请求, 返回LUA脚本层并挂起当前coroutine, --- (引擎处理其他事件) ---, 引擎收到mongodb返回查询结果, 组织封装结果并通知LUA脚本层唤醒查询请求coroutine, coroutine继续执行得到返回结果并处理.

 

  由于有coroutine的帮助, 使得我们在LUA层面上的调用和正常的顺序编程没有区别, 而异步的回调处理过程完全被屏蔽在逻辑层之下, 大大的简化了我们的逻辑层编程复杂度, 而且提高了引擎并发处理能力.

 

 实现:

  好了, 接下来我们来看看如何实现这样的功能. 根据上面的思路, 我们需要首先解决一个问题, 如何正确的恢复一个被挂起的coroutine, 这里如果我们使用多个线程等待同一条连接上的请求响应时, 如果在未加锁保护的情况下会出现这样一种情况: 比如2个线程通过同一条连接请求A, B发送至数据库, 但接受情况为B, A. 因为加锁实属下策, 所以, 我们应当让数据库帮助我们记录一些信息以便在返回的结果中我们可以正确的唤醒相应的coroutine. 

  

  mongodb的消息头中包含了这样的字段, 我们可以暂且为其命名为query_id, 当我们在发送时填充该字段后, 在接受到的返回消息头中会原封不动的得到该query_id, 这样我们就可以简单的使用自增id作为query_id进行填充即可.

  

  下面我们要用将原driver中的find接口进行拆分, 原有接口的逻辑为: 创建消息头, 填充query, 发送请求, 等待接受结果, 接收到结果并返回. 我们将其拆分为3个接口:

  1.创建并发送请求

  2.接受返回结果消息头

  3.接受返回结果数据并做相应的回调处理.

 

  这样, 我们可以非常方便的将其放入如libevent的事件驱动内进行处理.

  因为第二个和第三个接口都在接收返回结果时调用, 此过程为连续过程, 所以不用担心这里面会有乱序的情况.

 

  下面放上代码:(此代码为在原作者接口基础上进行拆分和稍作修改)

  // mongo.h typedef void (*mongo_async_send_handler)(const char* pbuf, size_t len, void* arg); // async mongo find interface, the param id is the callback param #define MONGO_ASYNC_READ_HEAD_LEN (sizeof(mongo_header) + sizeof(mongo_reply_fields)) void mongo_async_init(mongo_async_send_handler pfunc); void mongo_async_find(mongo_connection* conn, const char* ns, const bson* query, bson* fields, int nToReturn, int nToSkip, int options, int id, void* arg); mongo_cursor* mongo_async_response(mongo_connection* conn, const char* ns, mongo_reply* mm); mongo_reply * mongo_read_async_response_head(mongo_connection* conn, const char* buf, int* data_len/*out*/, int* query_id/*out*/); // buf size must be MONGO_ASYNC_READ_HEAD_LEN and return left data len mongo_reply* mongo_read_async_response_data(mongo_connection* conn, mongo_reply* out, const char* buf); //mongo.c static mongo_async_send_handler async_handler = NULL; void mongo_message_async_send(mongo_connection* conn, mongo_message* mm, void* arg){ mongo_header head; /* little endian */ bson_little_endian32(&head.len, &mm->head.len); bson_little_endian32(&head.id, &mm->head.id); bson_little_endian32(&head.responseTo, &mm->head.responseTo); bson_little_endian32(&head.op, &mm->head.op); MONGO_TRY{ //looping_write(conn, &head, sizeof(head)); //looping_write(conn, &mm->data, mm->head.len - sizeof(head)); async_handler((char*)&head, sizeof(head), arg); async_handler((char*)&mm->data, mm->head.len - sizeof(head), arg); }MONGO_CATCH{ free(mm); MONGO_RETHROW(); } free(mm); } void mongo_async_init(mongo_async_send_handler pfunc){ if( !pfunc ){ printf("mongodb async init failed/n"); exit(-5); } async_handler = pfunc; } // async mongo find // note: the id must not be zero or mongo_message_create will call rand() to generate void mongo_async_find(mongo_connection* conn, const char* ns, const bson* query, bson* fields, int nToReturn, int nToSkip, int options, int id, void* arg){ char * data; mongo_message * mm = mongo_message_create( 16 + /* header */ 4 + /* options */ strlen( ns ) + 1 + /* ns */ 4 + 4 + /* skip,return */ bson_size( query ) + bson_size( fields ) , id , 0 , mongo_op_query ); data = &mm->data; data = mongo_data_append32( data , &options ); data = mongo_data_append( data , ns , strlen( ns ) + 1 ); data = mongo_data_append32( data , &nToSkip ); data = mongo_data_append32( data , &nToReturn ); data = mongo_data_append( data , query->data , bson_size( query ) ); if ( fields ) data = mongo_data_append( data , fields->data , bson_size( fields ) ); bson_fatal_msg( (data == ((char*)mm) + mm->head.len), "query building fail!" ); mongo_message_async_send(conn, mm, arg); } // buf len must be >= MONGO_ASYNC_READ_HEAD_LEN mongo_reply * mongo_read_async_response_head(mongo_connection* conn, const char* buf, int* data_len/*out*/, int* query_id/*out*/ ){ mongo_header head; /* header from network */ mongo_reply_fields fields; /* header from network */ mongo_reply * out; /* native endian */ int len; //looping_read(conn, &head, sizeof(head)); //looping_read(conn, &fields, sizeof(fields)); memcpy(&head, buf, sizeof(head)); memcpy(&fields, buf + sizeof(head), sizeof(fields)); bson_little_endian32(&len, &head.len); if (len < sizeof(head)+sizeof(fields) || len > 64*1024*1024) MONGO_THROW(MONGO_EXCEPT_NETWORK); /* most likely corruption */ out = (mongo_reply*)bson_malloc(len); out->head.len = len; bson_little_endian32(&out->head.id, &head.id); bson_little_endian32(&out->head.responseTo, &head.responseTo); bson_little_endian32(&out->head.op, &head.op); bson_little_endian32(&out->fields.flag, &fields.flag); bson_little_endian64(&out->fields.cursorID, &fields.cursorID); bson_little_endian32(&out->fields.start, &fields.start); bson_little_endian32(&out->fields.num, &fields.num); *data_len = out->head.len - MONGO_ASYNC_READ_HEAD_LEN; *query_id = out->head.responseTo; return out; } // read response data mongo_reply* mongo_read_async_response_data(mongo_connection* conn, mongo_reply* out, const char* buf){ int len = out->head.len; MONGO_TRY{ //looping_read(conn, &out->objs, len-sizeof(head)-sizeof(fields)); memcpy(&out->objs, buf, len - MONGO_ASYNC_READ_HEAD_LEN); }MONGO_CATCH{ free(out); MONGO_RETHROW(); } return out; } mongo_cursor* mongo_async_response(mongo_connection* conn, const char* ns, mongo_reply* mm){ int sl; volatile mongo_cursor * cursor; /* volatile due to longjmp in mongo exception handler */ cursor = (mongo_cursor*)bson_malloc(sizeof(mongo_cursor)); MONGO_TRY{ cursor->mm = mm; }MONGO_CATCH{ free((mongo_cursor*)cursor); /* cast away volatile, not changing type */ MONGO_RETHROW(); } sl = strlen(ns)+1; cursor->ns = bson_malloc(sl); if (!cursor->ns){ free(cursor->mm); free((mongo_cursor*)cursor); /* cast away volatile, not changing type */ return 0; } memcpy((void*)cursor->ns, ns, sl); /* cast needed to silence GCC warning */ cursor->conn = conn; cursor->current.data = NULL; return (mongo_cursor*)cursor; }  

 

  这里面需要注意的地方就是在处理回调的过程中需要妥善保存好发起请求时传入的参数"ns", 此为database.collection, 简单的做法就是使用发送请求时生成的query_id作为key, 将ns copy出来存入hash结构中, 在响应回调时取出并正确的处理结果 :)

 总结:

  经过简单测试, 还是比较满意这次的改动, 不过细节方面还有待改善, 不过这些代码仅作为初步使用, 昨天下午的时候我也将这些改动的patch发给了原driver制作组, 他们的反馈意见是会仔细考虑这个意见, 不过他们还要处理优先级更高的任务 :D , 所以, 如果想使用最终官方的接口, 还是要等driver制作组的更新了. 本人的改动仅作为参考和测试.

 

  大家有什么问题相互探讨可以随时留言或email给我([e-mail])