多核CPU下基于PF_RING和设备轮询机制的高性能包捕获技

承诺安全承诺非凡多核CPU下基于PF_RING和设备轮询机制的高性能包捕获技术研究中心：北京分公司部门：研发部姓名：齐战胜1美亚柏科股票代码：300188内容提要•自我介绍•技术背景•理论知识•解决方案•参考资料2美亚柏科股票代码：3001881自我介绍•齐战胜，研发部，北京分公司，软件研发工程师•主要做协议分析、还原。参与的项目有抽查工具、NF-7800、NF-9300、NF-9600等。•为了解决NF-7800的千兆抓包问题，开始研究Linux下高性能抓包的解决方法。3美亚柏科股票代码：3001882技术背景被动数据捕获技术在网络安全领域有着极其丰富的应用。如IDS(入侵检测系统）、防火墙以及一些部署在网络出口的互联网内容分析系统等。随着网络带宽的增加，网络传输速率的提高，传统的数据包捕获技术越来越不能满足要求。本文从Linux/Unix平台下的Libpcap网络数据包捕获函数库入手，研究Linux/Unix平台下高性能的数据包捕获解决方案。4美亚柏科股票代码：3001883理论知识•Libpcap简介1)Libpcap简介2)Libpcap工作机制3)Libpcap抓包性能分析•NAPI技术简介1)NAPI技术简介2)NAPI工作机制3)NAPI的性能分析5美亚柏科股票代码：3001883.1Libpcap简介3.1.1Libpcap简介Libpcap是Unix/Linux平台下的网络数据包捕获的函数库。它是一个独立于系统的用户层包捕获API接口，为底层网络监听提供了一个可移植的框架。应用：Sniffer、Wireshark、Snort、Tcpdump等。6美亚柏科股票代码：3001883.1.1LibPcap简介•LibPcap特点1）可从以太网、虚拟接口等一个或多个网络接口捕获数据包；2）平台无关性;3）具有基于BPF的数据包过滤特性。完善了系统的数据包过滤体系。7美亚柏科股票代码：3001883.1.2Libpcap工作机制•Libpcap组成Libpcap主要由两部分组成：网络分接头(NetworkTap)和数据过滤器(PacketFilter)。网络分接头从网络设备驱动程序中收集数据拷贝，数据过滤器决定是否接受该数据包。8美亚柏科股票代码：3001883.1.2Libpcap工作机制•Libpcap捕包流程libpcap的包捕获机制就是在数据链路层加一个旁路处理。当一个数据包到达网络接口时，libpcap首先利用已经创建的Socket从链路层驱动程序中获得该数据包的拷贝，再通过Tap函数将数据包发给BPF过滤器。BPF过滤器根据用户已经定义好的过滤规则对数据包进行逐一匹配，匹配成功则放入内核缓冲区(一次拷贝)，并传递给用户缓冲区（又一次拷贝），匹配失败则直接丢弃。如果没有设置过滤规则，所有数据包都将放入内核缓冲区，并传递给用户层缓冲区。9美亚柏科股票代码：3001883.1.2Libpcap工作机制•程序框架/*第一步：查找可以捕获数据包的设备*/device=pcap_lookupdev(errbuf)；/*第二步：创建捕获句柄，准备进行捕获*/p=pcap_open_live(device,8000,1,500,errbuf)；/*第三步：如果用户设置了过滤条件，则编译和安装过滤代码*/pcap_compile(p,&fcode,filter_string,0,netmask)；pcap_setfilter(p,&fcode)；/*第四步：进入（死）循环，反复捕获数据包*/for(;;){while((ptr=(char*)(pcap_next(p,&hdr)))==NULL);/*第五步：对捕获的数据进行类型转换，转化成以太数据包类型*/eth=(structlibnet_ethernet_hdr*)ptr;/*第六步：对以太头部进行分析，判断所包含的数据包类型，做进一步的处理*/if(eth-ether_type==ntohs(ETHERTYPE_IP))…………if(eth-ether_type==ntohs(ETHERTYPE_ARP))…………}/*最后一步：关闭捕获句柄,一个简单技巧是在程序初始化时增加信号处理函数，以便在程序退出前执行本条代码*/pcap_close(p)；10美亚柏科股票代码：3001883.1.3Libpcap抓包性能分析11美亚柏科股票代码：3001883.1.4Libpcap抓包性能分析•高速复杂网络环境下libpcap丢包的原因主要有以下两个方面：1）Cpu处于频繁中断状态，造成接收数据包效率低下。我们可以假想一个场景，我们使用标准的100M网卡，可能实际达到的接收速率为80MBits/s，而此时数据包最大长度为1500Bytes，则每秒产生的中断数目为：80Mbits/s/(8Bits/Byte*1500Byte)=6667个中断/s。数据包最短长度为46Bytes，则每秒产生的中断数目为：80Mbits/s/(8Bits/Byte*46Byte)=217391个中断/s。每秒6667到217391个中断，对于系统是个很大的压力。2）数据包被多次拷贝，浪费了大量时间和资源。从网卡驱动到内核，再从内核到用户空间。12美亚柏科股票代码：3001883.2NAPI技术简介3.2.1NAPI技术简介NAPI（NewAPI）是Linux上采用的一种提高网络处理效率的技术，它的核心概念就是不采用中断的方式读取数据，而代之以首先采用中断唤醒数据接收的服务程序，然后POLL的方法来轮询数据。13美亚柏科股票代码：3001883.2.2NAPI的工作机制经过分析，发现在复杂网络环境中，丢包率上升的原因是在捕包过程中，CPU一直处于接收中断状态，而没有把时间用于处理数据包的过程中来，也就是进入了系统中断活锁状态。利用NAPI技术的设备轮询机制可以成功解决这个问题，NAPI机制的具体特点如下：(1)当网卡接收到一个数据包，便产生一个中断信号给系统;(2)系统进行如下操作：关闭网卡中断（只是屏蔽了中断信号，网卡仍然可以接收数据包到缓冲队列）;激活轮询进程，对该网卡进行轮询（处理缓冲队列）;打开网卡中断（解除屏蔽中断信号）。14美亚柏科股票代码：3001883.2.2NAPI的工作机制15美亚柏科股票代码：3001883.2.2NAPI的工作机制•使用NAPI的先决条件1）网卡设备有DMA（DirectMemoryAccess）硬件，要支持DMA的环形输入队列（也就是ring_dma）。2）在发送/接收数据包产生中断的时候有能力关断NIC中断的事件处理，并且在关断NIC以后，并不影响数据包接收到网络设备的环形缓冲区（以下简称rx-ring）处理队列中。3）有防止NIC队列中排队的数据包冲突的能力。16美亚柏科股票代码：3001883.2.3NAPI的性能分析•优点NAPI技术的使用减少了中断的数目，让整个操作系统不必花费太多的时间在中断现场的保护和恢复上，以便把赢得的时间用来在我网络层上的处理数据的传输，确实大幅度增强了数据包捕获能力和系统响应速度。17美亚柏科股票代码：3001883.2.3NAPI的性能分析•缺点NAPI存在一些比较严重的缺陷：1）对于上层的应用程序而言，系统不能在每个数据包接收到的时候都可以及时地去处理它，而且随着传输速度增加，累计的数据包将会耗费大量的内存，经过实验表明在Linux平台上这个问题会比在FreeBSD上要严重一些；2）另外一个问题是对于大的数据包处理比较困难，原因是大的数据包传送到网络层上的时候耗费的时间比短数据包长很多（即使是采用DMA方式），所以正如前面所说的那样，NAPI技术适用于对高速率的短长度数据包的处理。18美亚柏科股票代码：3001884解决方案•PF_RING解决方案•PF_RING的TNAPI的改进方案•PF_RING的DNA的改进方案•PF_RING的安装使用19美亚柏科股票代码：3001884.1PF_RING解决方案4.1.1PF_RING简介PF_RING是Luca研究出来的基于Linux内核级的高效数据包捕获技术。PF_RING可以把从一个网络接口抓到的数据包分发到多个cpu核心或者线程中，以提高数据包处理能力。20美亚柏科股票代码：3001884.2PF_RING工作机制在大数据包的网络环境下，设备轮询机制表现出了较高的捕包能力，但是在小包大流量的网络环境下，设备轮询机制虽然比Libpcap的表现好了很多，但依然难以达到让人满意的程度。经过进一步分析，在数据包捕获的过程中，CPU的多数时间都被用在把网卡接收到的数据包经过内核的数据结构队列发送到用户空间的过程中。也就是说是从网卡到内核，再从内核到用户空间，这两个步骤，花去了大量CPU时间，而没有其他时间用来进行数据包的进一步处理。PF_RING技术解决了这个问题。21美亚柏科股票代码：3001884.1.2PF_RING工作机制•PF_RING的逻辑结构如下图所示：PF_RING基本原理是将网卡接收的数据包存储在一个环状缓存，这也是为什么叫RING的原因，这个环状缓存有两个接口，一个供网卡向其中写数据包，另一个为应用层程序提供读取数据包的接口，读取数据包的接口通过mmap函数（将一个文件或其它对象映射进内存）实现的。22美亚柏科股票代码：3001884.2PF_RING工作机制•PF_RING优点1)减少了内存拷贝次数。2)可以把收到的数据包分发到多个环形缓冲区，供多线程应用程序读取。23美亚柏科股票代码：3001884.2PF_RING工作机制3)支持集群功能。PF-RING可以通过集群和平衡机制增加包捕获程序的性能。这些机制允许应用程序只处理一部分数据包，将其余数据包传送给其它集群。24美亚柏科股票代码：3001884.1.3PF_RING工作模式•PF_RING有3中工作模式：pf_ring有三种透明模式（transparent_mode）。为0时走的是Linux标准的NAPI包处理流程；为1时，包既走Linux标准包处理流程，也copy给pf_ring一份；为2时，驱动只将包拷贝给pf_ring，内核则不会接收到这些包，1和2模式需要pf_ring特殊的网卡驱动的支持。25美亚柏科股票代码：3001884.1.3PF_RING工作模式•模式026美亚柏科股票代码：3001884.1.3PF_RING工作模式•模式1和模式227美亚柏科股票代码：3001884.1.4PF_RING性能分析•I3虚拟4核3.3GHz、RH6.0系统、e1000e网卡28美亚柏科股票代码：3001884.1.4PF_RING性能分析•I3虚拟4核3.3GHz、RH6.0系统、e1000e网卡29美亚柏科股票代码：3001884.1.4PF_RING性能分析•双核1.86GHz、UbuntuServer9.10、e1000网卡30美亚柏科股票代码：3001884.1.4PF_RING性能分析•双核1.86GHz、UbuntuServer9.10、igb网卡31美亚柏科股票代码：3001884.1.4PF_RING性能分析•双核1.86GHz和Xeon2.5GHz、ixgbe万兆网卡32美亚柏科股票代码：3001884.1.5PF_RING的不足之处目前大部分网卡都支持MSI-X技术，可以把传入的RX队列分成几个RX队列，每个队列对应一个CPU的核心。RSS技术可以通过per-flow实现各个RX队列间的负载均衡。这样的好处是可以充分利用cpu的多核优势，提高对数据包的处理速度。但是目前的PF_RING不能充分发挥这个优势。原因分析如下：33美亚柏科股票代码：3001884.1.5PF_RING的不足之处•驱动程序仍然需要依次轮询RXQueue，而不能同时访问所有的RXQueue。操作系统需要把这些RX队列河流到一个接口供应用程序读取。当需要处理超大流量数据的时候，多核CPU的单核占用率很高，多核性能不能充分发挥。34美亚柏科股票代码：3001884.1.6PF_RING