当前位置: 首页 > 工具软件 > Suricata > 使用案例 >

suricata 流管理

薛兴言
2023-12-01

flow相关文件及作用

flow.h flow.c:

flow-worker.h flow-worker.c:

flow-hash.h flow-hash.c:

flow-manager.h flow-manager.c:

flow-timeout.h  flow-timeout.c:

flow-queue.h flow-queue.c

flow-private.h

tmqh-flow.c tmqh-flow.h

flow-storage.h flow-storage.c

flow-util.h flow-util.c

output-json-flow.c output-json-flow.h

detect-flow.h  detect-flow.c

detect-flowbits.h detect-flowbits.c

detect-flowint.h detect-flowint.c

detect-flowvar.h detect-flowvar.c

flow-bit.h  flow-bit.c

flow-bypass.h  flow-bypass.c

flow-spare-pool.h flow-spare-pool.c

output-flow.h output-flow.c

flow-var.c flow-var.h
flow-var:
定义flow变量,有两种类型,分别是FLOWVAR_TYPE_STR和FLOWVAR_TYPE_INT。

①FlowVarTypeStr结构体:FLOWVAR_TYPE_STR类型,包含内容和长度。

②FlowVarTypeInt结构体:FLOWVAR_TYPE_INT类型, 包含内容。

③FlowVar结构体:Flowvar的带索引的单向链表。

④FlowVarAddIdValue函数:通过idx从flow中拿flowvar,没拿到就新建一个,然后把value(STR)放进去,追加到flow的flowvar链表之后。

⑤FlowVarAddKeyValue函数:新建一个flowvar,value放进去,追加到flow的flowvar链表之后。

⑥FlowVarAddIntNoLock函数:通过idx从flow中拿flowvar,没拿到就新建一个,然后把value(int)放进去,追加到flow的flowvar链表之后。

⑦FlowVarAddInt函数:调用FlowVarAddIntNoLock。

⑧FlowVarGet函数:通过idx 获取flow中的flowvar

⑨FlowVarGetByKey函数:当idx为0,获取与key值相同的flow-》flowvar。

⑩FlowVarFree函数

11.FlowVarPrint函数

flow-manager:

①FlowTimeoutsInit函数:从flow_timeouts_normal中拿超时时间flow_timeouts

②FlowTimeoutsEmergency函数:从flow_timeouts_emerg中拿超时时间flow_timeouts

③FlowManagerThreadSpawn函数

④FlowDisableFlowManagerThread函数

⑤FlowRecyclerThreadSpawn函数

⑥FlowDisableFlowRecyclerThread函数

⑦TmModuleFlowManagerRegister函数

⑧TmModuleFlowRecyclerRegister函数

⑨FlowTimeoutCounters结构

flow-private:

①FlowGetFlowTimeoutDirect函数:判断NEW、ESTABLISHED、CLOSED、OFFLOAD、LOCAL_BYPASSED超时(只要有一个超时即超时)

①FlowGetFlowTimeout函数

①FlowGetTimeoutPolicy函数

①FlowGetFlowTimeoutDirect函数

一、Flow

所有相同元组(协议,源IP,目的IP,源端口,目的端口)的包分组属于同一流。使用flow管理一个会话。

通常我们也指从一端到另一端的一次网络数据传输过程。其包含连接的建立,数据的传输。一条流往往指的是一次完成的数据传输,其包含了该过程中所有的数据包。但是一个连接可以有多个流,即在连接建立之后,可以有多次的数据传输。

二、Flow的管理

suricata实现了流管理机制来回收与重复利用Flow。suricata使用三个线程维护这三个队列(Flow哈希表,Flow备用队列,Flow回收队列)。

其中:

2.1 线程

        ①FlowManager线程:从流表中摘除超时的流放入回收队列,检查空闲队列长度是否为预设值,若过长则释放一部分,若过短则申请一部分。

// 根据配置创建flow_managers线程个数
void FlowManagerThreadSpawn()
{
    intmax_t setting = 1;
    (void)ConfGetInt("flow.managers", &setting);

    if (setting < 1 || setting > 1024) {
        FatalError(SC_ERR_INVALID_ARGUMENTS,
                "invalid flow.managers setting %"PRIdMAX, setting);
    }
    flowmgr_number = (uint32_t)setting;

    SCLogConfig("using %u flow manager threads", flowmgr_number);
    StatsRegisterGlobalCounter("flow.memuse", FlowGetMemuse);// 注册一个全局的原子的flow计数器flow_memuse

    for (uint32_t u = 0; u < flowmgr_number; u++) {
        char name[TM_THREAD_NAME_MAX];
        snprintf(name, sizeof(name), "%s#%02u", thread_name_flow_mgr, u+1);

        ThreadVars *tv_flowmgr = TmThreadCreateMgmtThreadByName(name,
                "FlowManager", 0);// 创建线程变量结构体
        BUG_ON(tv_flowmgr == NULL);

        if (tv_flowmgr == NULL) {
            FatalError(SC_ERR_FATAL, "flow manager thread creation failed");
        }
        if (TmThreadSpawn(tv_flowmgr) != TM_ECODE_OK) { // 根据生成的线程名创建线程
            FatalError(SC_ERR_FATAL, "flow manager thread spawn failed");
        }
    }
    return;
}

        ②FlowRecyler线程:从回收队列中摘除Flow,调用注册流输出模块的回掉,清空Flow信息,插入回收队列。

        ③FlowWorker线程

  • 对于新到达的包,在流表中查找其对应Flow结构,若存在则直接引用
  • 若流表中不存在对应此包的Flow结构,则按如下优先级获取一个新的Flow结构
    1. 从空闲队列中取出一个Flow结构
    2. 重新申请一个Flow结构
    3. 从流表中去除一个当前未被引用的Flow结构,清空其内容并重新插入流表

2.2 三种队列

Flow哈希表: 这个是FlowBucket *flow_hash 数组,数据大小为配置中的 flow_config 的 hash_size,其在数组中的每一个FlowBucket元素中都挂了一串之前数据包对应的Flow链队列。

Flow备用队列: static FlowSparePool *flow_spare_pool 备用池链队列,其每一个链pool中都挂载一个备用Flow队列。

Flow回收队列: FlowQueue flow_recycle_q 回收队列,挂载一个备用Flow队列。

2.3 Flow管理流程

①当一个数据包来到时,计算数据包对应的hash值

②在后续的模块中将使用这个hash 在Flow哈希表中找到 FlowBucket ,不同会话的hash值可能相同,所以不是比较hash相同来定位Flow,而是在篮子里顺序查找具有相同五元组和vlan的Flow,找到则利用此Flow

③若Flow哈希表中没有,则在Flow备用队列取出一个Flow, 或是新建一个Flow使用,同时把这个Flow插入到Flow哈希表


 

 类似资料: