入侵检测系统的发展历史技术

入侵检测系统的发展历史技术伴随着新世纪的钟声，人类步入了信息社会。随着互联网在我国的普及和网络应用的深入，各级政府部门，教育和科研机构，企事业单位，乃至个人组织都相继推出了计算机网络服务，从根本上改变了人们的生活和工作方式。人们在提供网络服务、参与网络活动的同时，往往只看到其便利、有益的一面，而降低了警惕性，忽视了潜在于网络中的安全问题。以往的教训表明，如果对网络安全问题掉以轻心，互联网络也可能会使服务提供者的形象严重受损，带来重大经济损失，甚至造成恶劣的社会影响。互联网具有天然的开放性和协议的简便性，它在展示其无所不能的强大威力的同时，也不可避免地伴随了大量的安全隐患。网络结构组织各方面的缺陷，系统与应用软件的漏洞，以及网络管理员的水平低下和疏忽大意，都可能使网络攻击者有机可乘；恶意的入侵者干扰正常业务，销毁或篡改重要数据，甚至使更多的服务器失去控制，造成一系列严重后果。人们在得益于信息革命所带来的新的巨大机遇的同时，也不得不面对信息安全问题的严峻考验。伴随着对网络技术的推进，网络攻防的战斗也越演越烈。网络安全已经引起各国、各部门、各行各业的高度重视，在网络中引入安全防范机制已经成为人们的公识。防范网络攻击，最常用的对策是构建防火墙。防火墙是一种应用层网关，按照设定的规则对进入网络的IP分组进行过滤，同时也能针对各种网络应用提供相应的安全服务。利用防火墙技术，经过仔细的配置，通常能在内外网之间实施安全的网络保护机制，降低风险。但仅仅使用防火墙保障网络安全是远远不够的，因为入侵者会想方设法寻找防火墙背后可能敞开的通道。另一方面，防火墙在阻止内部袭击等方面也收效甚微，对于企业内部心怀不满而又技术高超的员工来说，防火墙形同虚设。而且，由于性能的限制，防火墙通常不能提供有效的入侵检测能力。因此，认为在Internet入口处部署防火墙系统就足够安全的想法是不切实际的。能否成功阻止网络黑客的入侵，保障计算机和网络系统的安全和正常运行，已经成为各机构和单位能否正常运作的关键性问题。入侵检测系统IDS是近年出现的新型网络安全技术，是一套软件和硬件的结合体。IDS能弥补防火墙的不足，为受保护网络提供有效的入侵检测及采取相应的防护手段；入侵检测是一个全新的、迅速发展的领域，并且已成为网络安全中极为重要的一个课题；入侵检测的方法和产品也在不断的研究和开发之中，并且已经在网络攻防实例中初步展现出其重要价值。入侵检测（IntrusionDetectionSystems简称IDS）是检测和响应计算机误用的学科，其作用包括威慑、检测、响应、损失情况评估、攻击预测和起诉支持。专业上讲就是依照一定的安全策略，对网络、系统的运行状况进行监视，尽可能发现各种攻击企图、攻击行为或者攻击结果，以保证网络系统资源的机密性、完整性和可用性。入侵检测是指“通过对行为、安全日志或审计数据或其它网络上可以获得的信息进行操作，检测到对系统的闯入或闯入的企图”（参见国标GB/T18336）。入侵检测技术是为保证计算机系统的安全而设计与配置的一种能够及时发现并报告系统中未授权或异常现象的技术，是一种用于检测计算机网络中违反安全策略一、IDS存在和发展的原因：1、网络安全本身的复杂性，被动式的防御方式显得力不从心。2、有关防火墙：网络边界的设备;自身可以被攻破;对某些攻击保护很弱;并非所有威胁均来自防火墙外部。3、入侵很容易：入侵教程随处可见;各种工具唾手可得二、IDS的起源：1、1980年JamesP.Anderson在给一个保密客户写的一份题为《计算机安全威胁监控与视》的技术报告中指出，审计记录可以用于识别计算机误用，他给威胁进行了分类，第一次详细阐述了入侵检测的概念。。2、1984年到1986年乔治敦大学的DorothyDenning和SRI公司计算机科学实验室的PeterNeumann研究出了一个实时入侵检测系统模型-IDES（IntrusionDetectionExpertSystems入侵检测专家系统），是第一个在一个应用中运用了统计和基于规则两种技术的系统，是入侵检测研究中最有影响的一个系统。3、1989年，加州大学戴维斯分校的ToddHeberlein写了一篇论文《ANetworkSecurityMonitor》，该监控器用于捕获TCP/IP分组，第一次直接将网络流作为审计数据来源，因而可以在不将审计数据转换成统一格式的情况下监控异种主机，网络入侵检测从此诞生。4、1990年，加州大学戴维斯分校的L.T.Heberlein等人开发出了NSM(NetworkSecurityMonitor)该系统第一次直接将网络流作为审计数据来源，因而可以在不将审计数据转换成统一格式的情况下监控异种主机入侵检测系统发展史翻开了新的一页，两大阵营正式形成：基于网络的IDS和基于主机的IDS5、1988年之后，美国开展对分布式入侵检测系统(DIDS)的研究，将基于主机和基于网络的检测方法集成到一起。DIDS是分布式入侵检测系统历史上的一个里程碑式的产品。6、从20世纪90年代到现在，入侵检测系统的研发呈现出百家争鸣的繁荣局面，并在智能化和分布式两个方向取得了长足的进展。三、IDS的作用：我们做一个形象的比喻：假如防火墙是一幢大楼的门锁，那么IDS就是这幢大楼里的监视系统。一旦小偷爬窗进入大楼，或内部人员有越界行为，只有实时监视系统才能发现情况并发出警告。不同于防火墙，IDS入侵检测系统是一个监听设备，没有跨接在任何链路上，无须网络流量流经它便可以工作。因此，对IDS的部署，唯一的要求是：IDS应当挂接在所有所关注流量都必须流经的链路上。在这里，所关注流量指的是来自高危网络区域的访问流量和需要进行统计、监视的网络报文。在如今的网络拓扑中，已经很难找到以前的HUB式的共享介质冲突域的网络，绝大部分的网络区域都已经全面升级到交换式的网络结构。因此，IDS在交换式网络中的位置一般选择在：（1）尽可能靠近攻击源（2）尽可能靠近受保护资源这些位置通常是：•服务器区域的交换机上•Internet接入路由器之后的第一台交换机上•重点保护网段的局域网交换机上防火墙和IDS可以分开操作，IDS是个监控系统，可以自行选择合适的，或是符合需求的，比如发现规则或监控不完善，可以更改设置及规则，或是重新设置！四、入侵检测技术随着交换技术、加密信道技术和入侵技术的不断发展，对入侵检测技术的要求也越来越高，检测的方法手段也越来越复杂。1、现代入侵技术具有以下一些特点：1）综合化和复杂化；2）间接化；3）规模化；4）分布式；5）范围广。2、入侵检测存在的问题IDS的检测模型始终落后于攻击者的新知识和技术手段。主要表现在以下几个方面：1）利用加密技术欺骗IDS；2）躲避IDS的安全策略；3）快速发动进攻，使IDS无法反应；4）发动大规模攻击，使IDS判断出错；5）直接破坏IDS；6）智能攻击技术，边攻击边学习，变IDS为攻击者的工具。3、入侵检测技术分类从技术上讲，入侵检测技术大致分为基于知识的模式识别、基于知识的异常识别和协议分析三类。而主要的入侵检测方法有特征检测法、概率统计分析法和专家知识库系统。（1）基于知识的模式识别这种技术是通过事先定义好的模式数据库实现的，其基本思想是：首先把各种可能的入侵活动均用某种模式表示出来，并建立模式数据库，然后监视主体的一举一动，当检测到主体活动违反了事先定义的模式规则时，根据模式匹配原则判别是否发生了攻击行为。模式识别的关键是建立入侵模式的表示形式，同时，要能够区分入侵行为和正常行为。这种检测技术仅限于检测出已建立模式的入侵行为，属已知类型，对新类型的入侵是无能为力的，仍需改进。（2）基于知识的异常识别这种技术是通过事先建立正常行为档案库实现的，其基本思想是：首先把主体的各种正常活动用某种形式描述出来，并建立“正常活动档案”，当某种活动与所描述的正常活动存在差异时，就认为是“入侵”行为，进而被检测识别。异常识别的关键是描述正常活动和构建正常活动档案库。利用行为进行识别时，存在四种可能：一是入侵且行为正常；二是入侵且行为异常；三是非入侵且行为正常；四是非入侵且行为异常。根据异常识别思想，把第二种和第四种情况判定为“入侵”行为。这种检测技术可以检测出未知行为，并具有简单的学习功能。以下是几种基于知识的异常识别的检测方法：1）基于审计的攻击检测技术这种检测方法是通过对审计信息的综合分析实现的，其基本思想是：根据用户的历史行为、先前的证据或模型，使用统计分析方法对用户当前的行为进行检测和判别，当发现可疑行为时，保持跟踪并监视其行为，同时向系统安全员提交安全审计报告。2）基于神经网络的攻击检测技术由于用户的行为十分复杂，要准确匹配一个用户的历史行为和当前的行为是相当困难的，这也是基于审计攻击检测的主要弱点。而基于神经网络的攻击检测技术则是一个对基于传统统计技术的攻击检测方法的改进方向，它能够解决传统的统计分析技术所面临的若干问题，例如，建立确切的统计分布、实现方法的普遍性、降低算法实现的成本和系统优化等问题。3）基于专家系统的攻击检测技术所谓专家系统就是一个依据专家经验定义的推理系统。这种检测是建立在专家经验基础上的，它根据专家经验进行推理判断得出结论。例如，当用户连续三次登录失败时，可以把该用户的第四次登录视为攻击行为。4）基于模型推理的攻击检测技术攻击者在入侵一个系统时往往采用一定的行为程序，如猜测口令的程序，这种行为程序构成了某种具有一定行为特征的模型，根据这种模型所代表的攻击意图的行为特征，可以实时地检测出恶意的攻击企图，尽管攻击者不一定都是恶意的。用基于模型的推理方法人们能够为某些行为建立特定的模型，从而能够监视具有特定行为特征的某些活动。根据假设的攻击脚本，这种系统就能检测出非法的用户行为。一般为了准确判断，要为不同的入侵者和不同的系统建立特定的攻击脚本。使用基于知识的模式识别和基于知识的异常识别所得出的结论差异较大，甚至得出相反结论。这是因为基于知识的模式识别的核心是维护一个入侵模式库，它对已知攻击可以详细、准确地报告出攻击类型，但对未知攻击却无能为力，而且入侵模式库必须不断更新。而基于知识的异常识别则是通过对入侵活动的检测得出结论的，它虽无法准确判断出攻击的手段，但可以发现更广泛的、甚至未知的攻击行为。（3）协议分析这种检测方法是根据针对协议的攻击行为实现的，其基本思想是：首先把各种可能针对协议的攻击行为描述出来，其次建立用于分析的规则库，最后利用传感器检查协议中的有效荷载，并详细解析，从而实现入侵检测。这种检测技术能检测出更为广泛的攻击，包括已知的和未知的攻击行为。4、目前，国际顶尖的入侵检测系统IDS主要以模式发现技术为主。所谓模式发现技术是指从各种入侵行为及其变种中抽取出各方面的模式或特征，然后用这些模式去匹配、去发现可能的攻击。IDS一般从实现方式上分为两种：基于主机的IDS和基于网络的IDS。一个完备的入侵检测系统IDS应该是基于主机和基于网络两种方式兼备的分布式系统。另外，能够识别的入侵手段的数量多少，最新入侵防范的更新是否及时都是评价入侵检测系统的关键指标。4.1按照检测类型划分从技术上划分，入侵检测有两种检测模型：（1）异常检测模型（AnomalyDetection）：检测与可接受行为之间的偏差。如果可以定义每项可接受的行为，那么每项不可接受的行为就应该是入侵。首先总结正常操作应该具有的特征（用户轮廓），当用户活动与正常行为有重大偏离时即被认为是入侵。这种检测模型漏报率低，误报率高。因为不需要对每种入侵行为进行定义，所以能有效检测未知的入侵。（2）误用检测模型（MisuseDetection）：检测与已知的不可接受行为之间的匹配程度。如果可以定义所有的不可接受行为，那么每种能够与之匹配的行为都会引起告警。收集非正常操作的行为特征，建立相关的特征库，当监测的用户或系统行为与库中的记录相匹配时，系统就认为这种行为是入侵。这种检测模型误报率低、漏报率高。对于已知的攻击，它可以详细、准确地报告出攻击类型，但是对未知攻击