毕业设计（论文）浅谈入侵检测技术

目 录1引言21.1入侵检测技术的提出 21.2入侵检测技术技术研究史 31.2.1 以Denning模型为代表的IDS早期技术 31.2.2中期：统计学理论和专家系统相结合 41.2.3基于网络的NIDS是目前的主流技术 51.3本课题研究的途径与意义 112入侵检测技术原理 122.1 入侵检测技术第一步信息收集 122.1.1 网络入侵检测技术模块方式 132.1.2 主机入侵检测技术模块方式 132.1.3信息来源的四个方面 132.2 入侵检测技术的第二步信号分析 152.2.1模式匹配 162.2.2统计分析 162.2.3完整性分析 163入侵检测技术功能概要 184 入侵检测技术技术分析 194.1入侵分析按其检测技术规则分类 194.1.1基于特征的检测技术规则 194.1.2基于统计的检测技术规则204.2 一些新的分析技术 204.2.1 统计学方法 204.2.2 入侵检测技术的软计算方法 214.2.3 基于专家系统的入侵检测技术方法 215 入侵检测技术技术发展方向 225.1分布式入侵检测技术与通用入侵检测技术架构225.2应用层入侵检测技术 225.3智能的入侵检测技术 225.4入侵检测技术的评测方法 225.5网络安全技术相结合 226 建立数据分析模型 236.1测试数据的结构 226.2数据中出现的攻击类型256.2.1攻击（Attacks） 256.2.2发现训练集中的攻击类型 266.2.3其他主流的攻击类型 287 聚类算法在网络入侵检测技术中的作用 297.1模式识别的概念 297.2模式分类 297.3基于异常的入侵检测技术 327.4聚类算法简介 327.4.1 K-means算法 327.4.2迭代最优化算法327.4.3我的构想 32结论35致谢35参考文献 351引言1.1入侵检测技术的提出随着Internet高速发展，个人、企业以及政府部门越来越多地依靠网络传递信息, 然而网络的开放性与共享性容易使它受到外界的攻击与破坏,信息的安全保密性受到严重影响。网络安全问题已成为世界各国政府、企业及广大网络用户最关心的问题之一。在计算机上处理业务已由基于单机的数学运算、文件处理，基于简单连结的内部网络的内部业务处理、办公自动化等发展到基于企业复杂的内部网、企业外部网、全球互联网的企业级计算机处理系统和世界范围内的信息共享和业务处理。在信息处理能力提高的同时，系统的连结能力也在不断的提高。但在连结信息能力、流通能力提高的同时，基于网络连接的安全问题也日益突出，黑客攻击日益猖獗，防范问题日趋严峻： 具Warroon Research的调查，1997年世界排名前一千的公司几乎都曾被黑客闯入。 据美国FBI统计，美国每年因网络安全造成的损失高达75亿美元。 Ernst和Young报告，由于信息安全被窃或滥用，几乎80%的大型企业遭受损失 在最近一次黑客大规模的攻击行动中，雅虎网站的网络停止运行3小时，这令它损失了几百万美金的交易。而据统计在这整个行动中美国经济共损失了十多亿美金。由于业界人心惶惶，亚马逊(Amazon.com)、AOL、雅虎(Yahoo!)、eBay的股价均告下挫，以科技股为主的纳斯达克指数(Nasdaq)打破过去连续三天创下新高的升势，下挫了六十三点，杜琼斯工业平均指数周三收市时也跌了二百五十八点。遇袭的网站包括雅虎、亚马逊和Buy.com、MSN.com、网上拍卖行eBay以及新闻网站CNN.com，估计这些袭击把Internet交通拖慢了百分二十。"目前我国网站所受到黑客的攻击，还不能与美国的情况相提并论，因为我们在用户数、用户规模上还都处在很初级的阶段，但以下事实也不能不让我们深思： 1993年底，中科院高能所就发现有"黑客"侵入现象，某用户的权限被升级为超级权限。当系统管理员跟踪时，被其报复。1994年，美国一位14岁的小孩通过互联网闯入中科院网络中心和清华的主机，并向我方系统管理员提出警告。 1996年，高能所再次遭到"黑客"入侵，私自在高能所主机上建立了几十个帐户，经追踪发现是国内某拨号上网的用户。同期，国内某ISP发现"黑客"侵入其主服务器并删改其帐号管理文件，造成数百人无法正常使用。 进入1998年，黑客入侵活动日益猖獗，国内各大网络几乎都不同程度地遭到黑客的攻击：7月，江西169网被黑客攻击，造成该网3天内中断网络运行2次达30个小时，工程验收推迟20天；同期，上海某证券系统被黑客入侵；8月，印尼事件激起中国黑客集体入侵印尼网点，造成印尼多个网站瘫痪，但与此同时，中国的部分站点遭到印尼黑客的报复；同期，西安某银行系统被黑客入侵后，提走80.6万元现金；9月，扬州某银行被黑客攻击，利用虚存帐号提走26万元现金。每年全球因计算机网络的安全系统被破坏而造成的经济损失达数百亿美元。进入新世纪之后，上述损失将达2000亿美元以上。 看到这些令人震惊的事件，不禁让人们发出疑问："网络还安全吗？"试图破坏信息系统的完整性、机密性、可信性的任何网络活动都称为网络入侵。防范网络入侵最常用的方法就是防火墙。防火墙（Firewall）是设置在不同网络（如可信任的企业内部网和不可信任的公共网）或网络安全域之间的一系列部件的组合,它属于网络层安全技术,其作用是为了保护与互联网相连的企业内部网络或单独节点。它具有简单实用的特点，并且透明度高，可以在不修改原有网络应用系统的情况下达到一定的安全要求。 但是，防火墙只是一种被动防御性的网络安全工具，仅仅使用防火墙是不够的。首先，入侵者可以找到防火墙的漏洞，绕过防火墙进行攻击。其次，防火墙对来自内部的攻击无能为力。它所提供的服务方式是要么都拒绝，要么都通过,不能检查出经过他的合法流量中是否包含着恶意的入侵代码，这是远远不能满足用户复杂的应用要求的。对于以上提到的问题，一个更为有效的解决途径就是入侵检测技术。在入侵检测技术之前，大量的安全机制都是根据从主观的角度设计的,他们没有根据网络攻击的具体行为来决定安全对策，因此，它们对入侵行为的反应非常迟钝，很难发现未知的攻击行为，不能根据网络行为的变化来及时地调整系统的安全策略。而入侵检测技术正是根据网络攻击行为而进行设计的，它不仅能够发现已知入侵行为，而且有能力发现未知的入侵行为，并可以通过学习和分析入侵手段，及时地调整系统策略以加强系统的安全性。1.2入侵检测技术技术研究史审计是最早引入计算机安全领域的概念，像存取文件、变更他们的内容或分类等的活动都记录在审计数据中，安全管理员、系统操作员和维护人员和普通用户一样都要经过行为审核。安德森提出要建立一个安全监督系统，保护那些系统敏感信息。他还提出应该检查什么、如何分析他、以及如何保护监督系统免受攻击，这成了今天IDS研究的核心内容。 70年代后期，美国政府，包括DoD（国防部）和NIST（国家标准和技术协会）支持的计算机安全研究2开始了，安全审计也被考虑在这些研究中。1980年，安德森提出了另外一项报告，这次是针对一个空军客户，后者使用大型计算机处理大量的机密数据。报告中，安德森提出了减少分析数据量的方法，以及比较统计数据和总的观察也就是统计行为，以发现反常的行为。当一个安全违例发生或（统计上）反常的事件出现时，就会提醒安全官员。安全官员还能利用详细的观测资料做后续的评估。安德森的报告为SRI（Stanford Research Institute）和TRW（美国著名的数据安全公司）的早期工作提供了蓝图。在1980年代中期，入侵检测技术方面的许多工作都被他的思路深深影响。1.2.1 以Denning模型为代表的IDS早期技术 19841985年，Sytex为SPAWAR（美国海军）开展了一个审计分析项目。他基于Unix系统的shell级的审计数据，论证这些数据能够识别“正常”和“反常”使用的区别。特里萨·兰特（Teresa Lunt）在Sytex为这个项目工作，后来又去了SRI，在那里她参与并领导了IDES（入侵检测技术专家系统）项目。 IDES项目是1984年由乔治敦大学的桃乐茜·顿宁（Dorothy Denning）和彼得·诺埃曼（PeterNeumann）开始的，是IDS早期研究中最重要的成就之一。IDES模型基于这样的假设：有可能建立一个框架来描述发生在主体（通常是用户）和客体（通常是文件、程序或设备）之间的正常的交互作用。这个框架由一个使用规则库（规则库描述了已知的违例行为）的专家系统支持。这能防止使用者逐渐训练（误导）系统把非法的行为当成正常的来接受，也就是说让系统“见怪不怪”。1988年，特里萨·兰特等人改进了顿宁的入侵检测技术模型，并开发出了一个IDES。该系统包括一个异常检测技术器和一个专家系统，分别用于异常模型的建立和基于规则的特征分析检测技术。系统的框架如图2所示。 顿宁的模型假设：入侵行为明显的区别于正常的活动，入侵者使用系统的模式不同于正常用户的使用模式，通过监控系统的跟踪记录，可以识别入侵者异常使用系统的模式，从而检测技术出入侵者违反系统安全性的情况。论文中的一些提法看起来很吸引人，但却并没有多少有力的证据，有些想当然。 顿宁的模型中有6个主要构件：主体、对象、审计数据、轮廓特征（或可称为“范型”profiles）、异常记录和行为规则。范型（profiles）表示主体的行为特色，也是模型检测技术方面的关键。行为规则描述系统验证一定条件后抽取的行为，他们能“更新范型，检测技术异常行为，能把异常和可能的入侵关联起来并提出报告”。审计纪录由一个行为触发，而且记录主体尝试的行