pf_ring
前言
本文详细描述Linux下PF_RING的编译和安装过程。
PF_RING版本：6.0.2（当前最新版本）
官方网址：http://www.ntop.org/products/pf_ring/
下载网址：http://sourceforge.net/projects/ntop/files/PF_RING/
Linux系统：Redhat 6.3(x86_64)
GCC版本：GCC 4.4.6
下载PF_RING
1）确认是否安装PF_RING
如果你已经安装pf_ring，你可能需要执行：rmmodpf_ring
如果你不确定你是否安装pf_ring，执行：modinfopf_ring
2）从下载网址下载最新版本的PF_RING：
PF_RING-6.0.2.tar.gz 2014-09-24 21.9MB
上传到安装Redhat 6.3的服务器的/opt目录下。
以root用户登录到服务器：
#cd /opt
#tar zxf PF_RING-6.0.2.tar.gz
#cd PF_RING-6.0.2
编译和安装PF_RING
1）编译pf_ring内核文件
进入内核模块目录：
cd /opt/PF_RING-6.0.2/kernel
编译pf_ring内核模块：
make &&make install
在RHEL 6.3中PF_RING内核模块安装的目录：
/lib/modules/2.6.32-279.el6.x86_64/kernel/net/pf_ring
加载pf_ring内核模块：
modprobe pf_ringtransparent_mode=1
或者
insmod<PF_RINGPATH>/kernel/pf_ring.ko [transparent_mode=0|1|2] [min_num_slots=x][enable_tx_capture=1|0][enable_ip_defrag=1|0] [quick_mode=1|0]
检查是否加载pf_ring内核模块：
lsmod | greppf_ring
查看加载信息：
cat/proc/net/pf_ring/info
删除pf_ring内核模块：
rmmd pf_ring
2）编译pf_ring开发库
进入到/opt/PF_RING-6.0.2/userland/lib目录下编译pf_ring库：
#cd /opt/PF_RING-6.0.2/userland/lib
#./configure --prefix=/opt/pfring
报错：checkingif libnuma is present... no
Please install libnuma-dev in order to usePF_RING
解决：需要安装libnuma-dev库，可以从光盘或者ISO镜像中查找numactl*.rpm包使用rpm -ivh命令进行安装。
#make && make intall
注：编译完成的pf_ring库和头文件可以在/opt/pfring中找到。
注：缺少lib/pf_ring.h头文件可以在/usr/include/linux/pf_ring.h中找到，或则/opt/PF_RING-6.0.2/kernel/linux目录下找到。
3）编译支持PF_RING的libpcap库
#cd /opt/PF_RING-6.0.2/userland/libpcap
#./configure --prefix=/opt/pfring/
#make && make install
注：修改源码，将pf_ring的内核ring缓冲区设为10M，默认是2M
源代码：userland/libpcap-1.1.1-ring/pcap-linux.c
函数：int activate_mmap(pcap_t*handle);
代码片段：
3310 if (handle->opt.buffer_size == 0) {
3311 /* by defaultrequest 2M for the ring buffer */
3312 handle->opt.buffer_size = 2*1024*1024;
3313 }
注：编译完成的libpcap库和头文件可以在/opt/pfring中找到。
4）编译pf_ring示例代码
#cd /opt/PF_RING-6.0.2/userland/examples
#make
#./alldevs
1. lan (PF_RING)
2. usbmon1 (USB bus number 1)
3. any (Pseudo-device that captures on allinterfaces)
4. lo (No description available)
该目录下还有一些实用的PF_RING工具：pfcount、pfsend等。
5）编译和安装PF_RING支持的驱动
*使用ethtool工具查看网卡的型号，例如：ethtool -i eth0
#lspci | grep Ethernet
*进入到驱动目录，注意这里使用非零拷贝的驱动：
cd /opt/PF_RING-6.0.2/drivers/PF_RING_aware/non-ZC-drivers/intel
*编译PF_RING支持的网卡：
#cd e1000/e1000-8.0.35/src
#make && make install
在Redhat 6.3下网卡驱动安装的位置：
/lib/modules/2.6.32-279.el6.x86_64/kernel/drivers/net/e1000/e1000.ko
*卸载和安装PF_RING驱动：
卸载驱动：# rmmod e1000
安装驱动：# modprobe e1000
查看驱动：# ethtol -i eth0
注意：当通信网卡也使用该驱动程序时，请务必现场操作，如果使用ssh远程卸载驱动会造成网络不能连接。
注：建议采集使用的网卡和通信使用的网卡分别使用不同的驱动。
注：设置网卡名称和MAC地址，请编译下面的文件：
/etc/udev/rules.d/70-persistent-net.rules
编译和安装PF_RING的命令整理如下(无需作为root用户执行)：
# 编译内核
cd /opt/PF_RING-6.0.2/kernel
make && sudo make install
# 编译PF_RING库
cd ../userland/lib
./configure –prefix=/usr/local/pfring&& make && sudo make install
# 编译libpcap库
cd ../libpcap-1.1.1-ring
./configure –prefix=/usr/local/pfring&& make && sudo make install
# 编译TCPDUMP
cd ../tcpdump-4.1.1
./configure –prefix=/usr/local/pfring&& make && sudo make install
# 更新动态库
sudo ldconfig
# 加载模块
sudo modprobe pf_ring
# 提升到root权限，执行
modinfo pf_ring && cat/proc/net/pf_ring/info
# 增加ixgbe模块的节流率
rmmod ixgbe
modprobe ixgbe InterruptThrottleRate=4000
# 为了符合高速网络的需要，我们需要增加ring槽位的数量
rmmod pf_ring
modprobe pf_ring transparent_mode=1 min_num_slots=65534 enable_tx_capture=0
使用PF_RING
如果使用支持PF_RING的libpcap的话，记得在应用程序的头文件中加入#define HAVE_PF_RING定义或CXXFLAGS中加入-DHAVE_PF_RING。
如果直接使用PF_RINGAPI编写代码不需要加入上面的定义。
PF_RINGAPI使用请阅读doc目录下的UserGuide.pdf文件，或者阅读userland目录下examples中的pfcount代码。
….
编译PF_RING问题
问题1：./runlex.sh: line 83: flex: command not found；
./runlex.sh: line 118: flex: command not found
回答: sudo yuminstall flex
问题2：make[2]: yacc: Command not found
answer:sudo yum install bison
问题3：cannot find -lnuma
answer:sudo yum install numactl-devel
对于Redhat 6.3版本需要从网上下载：numactl-devel-2.0.7-3.el6.x86_64.rpm
问题4：grammar.c:(.text+0x44e): undefined reference to `pcap_lex'
answer: 删除掉老的libpcap 1.0.0之前的版本。
#rpm -aq | grep libpcap 如果存在则删除它
#yum remove libpcap
问题5：insmod: error inserting 'pf_ring.ko': -1 Unknown symbol in module
解决：没有卸载当前的网卡驱动，导致新的驱动加载不了，因此需要先卸载网卡驱动后再重新进行加载。
问题6： --nodefs: unknown option
解决：rpm --nodeps -e libpcap
配置PF_RING
1.加载ixgbe驱动，我们发现设置InterruptThrottleRate为4000是最优的。
modprobe ixgbe InterruptThrottleRate=4000
2.加载PF_RING驱动，使用透传模式2，并且设置合理的缓冲区大小。
modprobe pf_ring.ko transparent_mode=2min_num_slots=16384
3.优化以太网设备，关闭影响吞吐量的选项。使用合适的接口替代eth3。
ethtool -C eth3 rx-usecs 1000
ethtool -C eth3 adaptive-rx off
ethtool -K eth3 tso off
ethtool -K eth3 gro off
ethtool -K eth3 lro off
ethtool -K eth3 gso off
ethtool -K eth3 rx off
ethtool -K eth3 tx off
ethtool -K eth3 sg off
4.设置CPU的亲和力
为了让Snort达到5Gbps吞吐量，我们需要更好的硬件（24核CPU Intel X567），使用PF_RING NAPI或DNA进行加速，选择使用Silicom网卡。
禁用TX捕获：insmodpf_ring.ko enable_tx_capture=0
增加ring slots数量，使用透传模式1：insmod pf_ring.ko enable_tx_capture=0transparent_mode=1 min_num_slots=16384