suricata 流管理
flow相关文件及作用
flow.h flow.c:
flow-worker.h flow-worker.c:
flow-hash.h flow-hash.c:
flow-manager.h flow-manager.c:
flow-timeout.h flow-timeout.c:
flow-queue.h flow-queue.c
flow-private.h
tmqh-flow.c tmqh-flow.h
flow-storage.h flow-storage.c
flow-util.h flow-util.c
output-json-flow.c output-json-flow.h
detect-flow.h detect-flow.c
detect-flowbits.h detect-flowbits.c
detect-flowint.h detect-flowint.c
detect-flowvar.h detect-flowvar.c
flow-bit.h flow-bit.c
flow-bypass.h flow-bypass.c
flow-spare-pool.h flow-spare-pool.c
output-flow.h output-flow.c
flow-var.c flow-var.hflow-var:
定义flow变量，有两种类型，分别是FLOWVAR_TYPE_STR和FLOWVAR_TYPE_INT。
①FlowVarTypeStr结构体：FLOWVAR_TYPE_STR类型，包含内容和长度。
②FlowVarTypeInt结构体：FLOWVAR_TYPE_INT类型， 包含内容。
③FlowVar结构体：Flowvar的带索引的单向链表。
④FlowVarAddIdValue函数：通过idx从flow中拿flowvar，没拿到就新建一个，然后把value（STR）放进去，追加到flow的flowvar链表之后。
⑤FlowVarAddKeyValue函数：新建一个flowvar，value放进去，追加到flow的flowvar链表之后。
⑥FlowVarAddIntNoLock函数：通过idx从flow中拿flowvar，没拿到就新建一个，然后把value（int）放进去，追加到flow的flowvar链表之后。
⑦FlowVarAddInt函数:调用FlowVarAddIntNoLock。
⑧FlowVarGet函数：通过idx 获取flow中的flowvar
⑨FlowVarGetByKey函数：当idx为0，获取与key值相同的flow-》flowvar。
⑩FlowVarFree函数
11.FlowVarPrint函数flow-manager:
①FlowTimeoutsInit函数：从flow_timeouts_normal中拿超时时间flow_timeouts
②FlowTimeoutsEmergency函数：从flow_timeouts_emerg中拿超时时间flow_timeouts
③FlowManagerThreadSpawn函数
④FlowDisableFlowManagerThread函数
⑤FlowRecyclerThreadSpawn函数
⑥FlowDisableFlowRecyclerThread函数
⑦TmModuleFlowManagerRegister函数
⑧TmModuleFlowRecyclerRegister函数
⑨FlowTimeoutCounters结构
flow-private：
①FlowGetFlowTimeoutDirect函数：判断NEW、ESTABLISHED、CLOSED、OFFLOAD、LOCAL_BYPASSED超时（只要有一个超时即超时）
①FlowGetFlowTimeout函数
①FlowGetTimeoutPolicy函数
①FlowGetFlowTimeoutDirect函数
一、Flow
所有相同元组（协议，源IP，目的IP，源端口，目的端口）的包分组属于同一流。使用flow管理一个会话。
通常我们也指从一端到另一端的一次网络数据传输过程。其包含连接的建立，数据的传输。一条流往往指的是一次完成的数据传输，其包含了该过程中所有的数据包。但是一个连接可以有多个流，即在连接建立之后，可以有多次的数据传输。
二、Flow的管理
suricata实现了流管理机制来回收与重复利用Flow。suricata使用三个线程维护这三个队列（Flow哈希表，Flow备用队列，Flow回收队列）。
其中：
2.1 线程
①FlowManager线程：从流表中摘除超时的流放入回收队列，检查空闲队列长度是否为预设值，若过长则释放一部分，若过短则申请一部分。
// 根据配置创建flow_managers线程个数
void FlowManagerThreadSpawn()
{
intmax_t setting = 1;
(void)ConfGetInt("flow.managers", &setting);
if (setting < 1 || setting > 1024) {
FatalError(SC_ERR_INVALID_ARGUMENTS,
"invalid flow.managers setting %"PRIdMAX, setting);
}
flowmgr_number = (uint32_t)setting;
SCLogConfig("using %u flow manager threads", flowmgr_number);
StatsRegisterGlobalCounter("flow.memuse", FlowGetMemuse);// 注册一个全局的原子的flow计数器flow_memuse
for (uint32_t u = 0; u < flowmgr_number; u++) {
char name[TM_THREAD_NAME_MAX];
snprintf(name, sizeof(name), "%s#%02u", thread_name_flow_mgr, u+1);
ThreadVars *tv_flowmgr = TmThreadCreateMgmtThreadByName(name,
"FlowManager", 0);// 创建线程变量结构体
BUG_ON(tv_flowmgr == NULL);
if (tv_flowmgr == NULL) {
FatalError(SC_ERR_FATAL, "flow manager thread creation failed");
}
if (TmThreadSpawn(tv_flowmgr) != TM_ECODE_OK) { // 根据生成的线程名创建线程
FatalError(SC_ERR_FATAL, "flow manager thread spawn failed");
}
}
return;
}②FlowRecyler线程：从回收队列中摘除Flow，调用注册流输出模块的回掉，清空Flow信息，插入回收队列。
③FlowWorker线程：
- 对于新到达的包，在流表中查找其对应Flow结构，若存在则直接引用
- 若流表中不存在对应此包的Flow结构，则按如下优先级获取一个新的Flow结构
- 从空闲队列中取出一个Flow结构
- 重新申请一个Flow结构
- 从流表中去除一个当前未被引用的Flow结构，清空其内容并重新插入流表
2.2 三种队列
Flow哈希表： 这个是FlowBucket *flow_hash 数组，数据大小为配置中的 flow_config 的 hash_size，其在数组中的每一个FlowBucket元素中都挂了一串之前数据包对应的Flow链队列。
Flow备用队列： static FlowSparePool *flow_spare_pool 备用池链队列，其每一个链pool中都挂载一个备用Flow队列。
Flow回收队列： FlowQueue flow_recycle_q 回收队列，挂载一个备用Flow队列。
2.3 Flow管理流程
①当一个数据包来到时，计算数据包对应的hash值
②在后续的模块中将使用这个hash 在Flow哈希表中找到 FlowBucket ，不同会话的hash值可能相同，所以不是比较hash相同来定位Flow,而是在篮子里顺序查找具有相同五元组和vlan的Flow，找到则利用此Flow
③若Flow哈希表中没有，则在Flow备用队列取出一个Flow, 或是新建一个Flow使用，同时把这个Flow插入到Flow哈希表