协议的注冊与维护——ndpi源代码分析

Posted 2020-06-21 gcczhongduan

       在前面的文章中，我们对ndpi中的example做了源代码分析。这一次我们将尽可能深入的了解ndpi内部的结构和运作。我们将带着以下三个目的（问题）去阅读ndpi的源代码。

1、ndpi内部是怎么样注冊和维护须要检測的协议呢？

2、ndpi在初始化的过程中。做了怎么样的工作？

3、ndpi在底层的实现中详细又是使用如何的数据结构？

注：这里限于篇幅。本文章指针对使用中的初始化部分进行源代码分析。主体的分析函数和详细的各个协议将在后面的文中陆续介绍。假设有不对或者理解不到位的地方，欢迎大家一起讨论。

一、索引

      在上文介绍的example（pcapReader）中给了我们一个很实用的导航。

就是setupDetection这个函数，他里面基本包括了我们初始化ndpi所用到的经常使用函数。

在接下来的源代码分析中，我们以这个函数为索引。逐步地窥探ndpi的内部。详细例如以下：

      在上面的函数中。主要是前面的11行的操作。11行后面的操作主要是针对pcapReader本身的应用须要（事实上上面我们已经标注了简单的凝视）。接下来我们将分为两个阶段进行介绍。

注：二、三中标题的选取仅仅是由于比重关系。上面源代码中的宏等我们都将在以下进行介绍

二、ndpi_init_detection_module

       这部分我们将介绍第8行中的初始化函数ndpi_init_detection_module，上方第3行中的定义等都将在第三部分系统地进行介绍。ndpi_init_detection_module的实现是在ndpi_main.c文件里。这个函数的工作并非维护协议。而是更加底层的參数的初始化。函数结束的时候将返回ndpi_detection_module_struct类型指针。这个类型将贯穿整个初始化过程。提供存放參数的容器以及设置的数据。以下我们将一一进行介绍：

函数原型：

        struct ndpi_detection_module_struct *ndpi_init_detection_module(u_int32_t ticks_per_second,
                                                                                                 void* (*__ndpi_malloc)(unsigned long size),
                                                                                                 void  (*__ndpi_free)(void *ptr),
                                                                                                 ndpi_debug_function_ptr ndpi_debug_printf)

1、内存管理函数的初始化

_ndpi_malloc = __ndpi_malloc;
_ndpi_free = __ndpi_free;

       这里的__ndpi_malloc和__ndpi_free就是我们自定义的函数。而这里等号左边的_ndpi_malloc和_ndpi_free并非指变量。这里是一个ndi内部封装好的函数指针。

在ndpi_main.c中定义，详细例如以下：

2、debug函数的初始化

      这里使用ndpi_debug_printf函数的有两处地方，第一处就是楼下3步中申请内存时的错误处理。第二处就是在debug函数的传入。跟第1步类似。可是这里的debug信息输出函数并非在ndpi_main.c中声明，而是在ndpi_detection_module_struct结构内部。结构内部声明了ndpi_debug_printf的函数指针。具体见源码，这里不再列出。

3、ndpi_detection_module_struct指针的创建和初始化

      这里事实上就是ndpi_detection_module_struct指针的声明和通过malloc的内存申请。

这里的ndpi_detection_module_struct将在函数最后return回去。

4、协议映射图的初始化

       NDPI_BITMASK_RESET(ndpi_str->detection_bitmask);

       这一部分主要是通过宏NDPI_BITMASK_RESET和结构体（ndpi_detection_module_struct）内部的detection_bitmask来共同实现。detection_bitmask事实上就是一个u_int32_t的数组，NDPI_BITMASK_RESET则是在ndpi_macros.h头文件里定义用来维护注冊协议的宏之中的一个。在底层事实上就是通过menset将detection_bitmask数组置0实现。

这里正如我们大题目那样。是文章的核心内容。将在第三部分。系统地进行介绍。

5、redis初始化

       redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对很多其它，包含string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash（哈希类型）。函数中通过结构体（ndpi_detection_module_struct）的redis变量进行了简单的初始化（ ndpi_str->redis = NULL;）。这里不作具体介绍。这一部分定义在ndpi_credis.h和ndpi_credis.c中。

6、协议timeout值的初始化

       在本函数中，用了比較大的篇幅进行timeout的初始化。这里事实上没什么好解释的，各个应用层软件的timeout值。

7、AC算法的初始化

        AC算法是指Aho-corasick自己主动机算法。包括在ndpi_main.h的头文件#include<ahocorasick.h>中。事实上在ndpi中对ahocorasick在ahocorasick.c中进行了封装和实现。

回归到这里，主要是通过ac_automata_init函数进行初始化。这里的初始化也不涉及算法本身，仅仅是创建并初始化结构体AC_AUTIMATA_T并传递回结构体（ndpi_detection_module_struct）。

8、Lru内存管理的初始化

        ndpi_init_lru_cache(&ndpi_str->skypeCache, 4096);

        这里又是一个深深的坑，内存管理。可是单单ndpi_init_lru_cache实现的功能也不是非常复杂。大家能够去看看。在ndpi_cache.c中进行实现。

9、多线程的初始化

        这里是多线程的初始化。pthread_mutex_init()函数是以动态方式创建相互排斥锁的。參数attr指定了新建相互排斥锁的属性。

假设參数attr为空，则使用默认的相互排斥锁属性。默认属性为高速相互排斥锁 。相互排斥锁的属性在创建锁的时候指定，在LinuxThreads实现中仅有一个锁类型属性，不同的锁类型在试图对一个已经被锁定的相互排斥锁加锁时表现不同。

       pthread_mutexattr_init()函数成功完毕之后会返回零。其它不论什么返回值都表示出现了错误。

        函数成功运行后。相互排斥锁被初始化为未锁住态。

10、默认port的初始化

          ndpi_init_protocol_defaults(ndpi_str);

          这里ndpi_str是我们前几步初始化过后的结构体（ndpi_detection_module_struct）。ndpi_init_protocol_defaults函数的主要作用是维护一个二叉树型结构，用来记录各个协议的默认port。

这个函数里面的反复性比較高，我们粘一段比較有代表性的程序段来一起解释一下：

         这里牵涉了两个函数。就是ndpi_build_default_ports和ndpi_set_proto_defaults。ndpi_build_default_ports操作比較简单不作具体介绍，他这里仅仅是把參数中的端口号传递进去ports_a/ports_b并返回。这里主要介绍ndpi_set_proto_defaults函数的实现流程。

注：上面（10）所述函数均在ndpi_main.h中进行实现

三、ndpi_set_protocol_detection_bitmask2

      在讲这个函数之前，我们先介绍一下这个函数所用到的參数是什么来历。

也就是前面的宏定义和变量。

1、NDPI_PROTOCOL_BITMASKall

      事实上第一次看到这个语句的时候，第一反应还以是一个宏定义。可是事实上这里NDPI_PROTOCOL_BITMASK代表的是一个变量类型，而all则是一个定义处理的实例（变量）。具体的定义在ndpi_macros.h中，例如以下：

       看完上面的定义，不难发现NDPI_PROTOCOL_BITMASK类型说白了就是一个u_int32_t的数组。

我们在继续看看数组的大小NDPI_NUM_FDS_BITS又是怎么计算出来：

        这里提出了一系列疑问？为什么要(((x)+((y)-1))/(y))？还有这样定义的目的是什么？

        依据我的理解。这里维护协议映射的数据结构是上面提到的ndpi_protocol_bitmask_struct（u_int32_t的数组）。对于数组的每个位置比方fds_bits[1]，这u_int32_t一共同拥有4字节。

也就事32位。每位代表这一个协议的映射。这一点不仅能够从上面的定义看出。在接下来的第2部分将更明显地能够看到这是一个类似hash的映射结构。然后回到为什么要(((x)+((y)-1))/(y))的问题，这里的y事实上就是32。所以这里这样计算数组是为了得出一个恰好满足能存放协议映射的数组大小（当然数组的位数不是所有应用与映射。毕竟会有一点空间的浪费）

2、NDPI_BITMASK_SET_ALL(all)

        这个宏的主要作用非常显而易见，就是把映射中所以的应用都进行设置。可是这仅仅是比較表面的理解。

在ndpi_macros.h中，ndpi提供了非常健全的映射设置函数。

例如以下：

        注：那我们使用时假设仅仅想注冊个别应用的检測该怎么办？能够通过NDPI_BITMASK_ADD宏进行加入。协议相应的hash数在ndpi_protocols_osdpi.h中进行了定义。

这里限于篇幅不再列出。

3、ndpi_set_protocol_detection_bitmask2(ndpi_struct,&all)

      这个能够说是检測协议注冊的核心函数。和第2部分中的10一样，这里的反复率也是比較高的。可是參杂着一些协议之间的依赖关系。所以我们以下列一个典型的代码段。一起看看它到底完毕的是什么工作。

      到这里为止，初始化的分析基本已经完毕了。

转载请著明：http://blog.csdn.net/grublinux/article/details/37670619

另外本篇博文的子妹篇pcapReader——源代码分析非常荣幸的參加了博客大赛，假设您认为对您有帮助。请支持我吧。投票地址：http://vote.blog.csdn.net/Article/Details?articleid=31603915