连续属性离散化方法研究

S t u d y0 1 1 1t h eD i s c r t i z a t i o no fC o n t i n u o u sA t t r i b u t e sA b s t r a c tI nt h er e a ld a t a b a s e s ，t h ed a t ar e c o r d sa r ec o m p o s e do fm a n ya t t r i b u t e sw i t hc o n t i n u o u sv a l u e ，s i n c em o s to ft h ee x i s t i n gm e t h o do fd a t am i n i n ga r ec a p a b l eo fd e a l i n gw i t ht h ed i s c r e t ea t t r i b u t e so n l y , i ti sn e c e s s a r yt od i s c r e t i z et h ec o n t i n u o u sa t t r i b u t e sf i r s t l y D u et ot h ea b o v e m e n t i o n e df a c t ，t h es t u d yo ft h em e t h o df o rc o n t i n u o u sa t t r i b u t ed i s c r e t i z a t i o nb e c o m e sa ni m p o r t a n tf u n d a m e n t a lw o r kt ot h er e s e a r c ha r e ao fd a t am i n i n g ，w h i c hc a ng i v ead e e pi n f l u e n c eo nt h er e s u l to fd a t am i n i n gp r o c e s s M a n yk i n d so fm e t h o df o rt h ec o n t i n u o u sa t t r i b u t ed i s c r e t i z a t i o nh a v eb e e np r o p o s e d ，e v e r yo n eh a si t sp r o p e r t i e sa n dp r i o r i t i e s I nt h i st h e s i s ，s o m ec o n c e p t so fr o u g hs e t sa n di n f o r m a t i o ne n t r o p ya r ec o m b i n e dt os t u d yt h ed i s c r e t i z a t i o no fc o n t i n u o u sa t t r i b u t e s ，a n dan e we f f i c i e n td i s c r e t i z a t i o nm e t h o di sf i r s t l yp r o p o s e d T h em a i nc o n t e n t so f t h i st h e s i sa r el i s ta sf o l l o w ：( 1 ) T h eb a s i ct h e o r yo fd a t am i n i n g ，i n f o r m a t i o ns y s t e ma n di n f o r m a t i o ne n t r o p yi sr e v i e w e di nd e t a i l Af u l li n t r o d u c t i o ni sg i v e nt ot h ed e c i s i o nt a b l e ，av e r yi m p o r t a n tc o n c e p tt od e s c r i b et h er o u g hs e t s A l s o ，s o m ed e s c r i p t i o n sa r eb r i e f l yr e v e a l e do nt h eh i s t o r ya n dd e v e l o p m e n to f t h ei n f o r m a t i o nt h e o r y , a n dt h ei n f o r m a t i o ne n t r o p y ( 2 ) T h er e l a t i v er e s u l t sf r o mt h er e s e a r c ho fc o n t i n u o u sa t t r i b u t ed i s c r e t i z a t i o na r es y s t e m a t i c a l l ya n a l y z e da n df u l l yc o m p a r e de a c ho t h e r |( 3 ) Au s e f u lc o n c e p t ，i n t e r v a lc l a s si n f o r m a t i o ne n t r o p y , i sp r o p o s e di nt h ep r e s e n tt h e s i s C o m b i n e dw i t ht h er e l a t i v et h e o r yo fr o u g hs e t s ，a ne f f i c i e n tm e t h o df o rc o n t i n u o u sa t t r i b u t ed i s c r e t i z a t i o nb a s e do ni n t e r v a lc l a s si n f o r m a t i o ne n t r o p y ( D I C E ) i sd r a w no u t T h e n ，t h e o r e t i c a la n a l y s i si sp e r f o r m e do nt h eD I C Em e t h o d ( 4 ) T h eD I C Em e t h o d ，p r o p o s e di nt h ep r e s e n tt h e s i s ，i ss u c c e s s f u l l ya p p l i e dt od i s c r e t i z e dt h er e a la v a i l a b l ed a t a b a s e s B a s e do nt h ea p p l i c a t i o n st od e a lw i t ht h er e a ld a t a b a s e s s o m ec o m p a r i s o n sa r em a d eb e t w e e nt h eD I C Em e t h o da n dt h es e l f - s u s t a i n e dd i s c r e t i z a t i o nm e t h o do ft h eC 4 5a l g o r i t h m ，t h e nc o r r e s p o n d i n ga n a l y s i sa n de x p l a i na r ep r e s e n t e do nt h ee x p e r i m e n t a lr e s u l t s K e y w o r d s ：D a t aP r e p r o c e s s i n g ，I n f o r m a t i o nE n t r o p y ，R o u g hS e t s ，D i s c r t i z a t i o n插图清单图1 1K D D 的处理过程模型图5 1D I C E 系统的组成图图5 。2D I C E 系统基本的调用格式图5 3t e s t n a m 具体格式图5 - 4t e s t d a t 具体格式图5 5t e s t t e s 具体格式图5 - 6D I C E 处理结果图5 7C 4 5 处理结果图5 8 记录的响应时间比较曲线图图5 9 记录的决策树分支数比较图图5 - 1 0 记录的决策树误分率比较图一弱“弘粥曲蚰舛拍镉表4 1表4 2表4 3袭4 4表4 5表4 6表4 7表4 - 8表5 - 1表5 - 2表5 - 3表格清单决策表的一般形式离散化前的样本数据决策表区间类信息熵取值与区间内类的比重关系用D I C I E 算法离散化后的决策表用C 4 5 算法离散化后的决策表D I C I E 算法与C 4 5 算法离散化后的断点区间数比较D I C I E 算法与C 4 5 算法离散化后的区间类信息熵比较D I C I E 算法与C 4 5 算法离散化前后决策表一致性比较区间类信息熵取值与区间内类的比重关系记录的响应时间记录的决策树分支数和误分率斟舶刀船凹凹如”蚪郇独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得盒魍些太堂或其他教育机构的学位或证书而使t f j 过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。一躲闷复6 小舯学位论文版权使用授权书本学位论文作者完全了解金魍王些盍鲎有关保留、使用学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权金目B 王些太堂可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。( 保密的学位论文在解密后适用本授权书)学位论文作者签名签字日期：年月日学位论文作者毕业后去向工作单位：通讯地址： 舀04，臃、明椰咖致谢首先，衷心感谢我的导师胡学钢教授在整个论文阶段给予的悉心指导和帮助。导师不断从学业上、生活上关心我，为我创造了良好的工作和学习环境，使我在理论和实践两个方面都得到了良好的锻炼。没有导师付出的辛勤劳动，本论文是不可能完成的。在这几年的学习生活中，胡老师严谨的治学态度、丰富渊博的知识和豁达的人格给我留下了深刻的印象，特别是受到胡老师那种手不释卷、日日勤勉的工作作风的熏陶，将使我终身受益。同时，我也深深地感谢计算机学院人工智能与知识挖掘研究室的王浩教授。他也给了我大量的指导、关怀和帮助，他的真知灼见使我受益很多。还要感谢张晶、张玉红、吴共庆、王德兴、周红鹃、杨静、李培培等。大家一起对知识挖掘课题进行研讨，集思广益，对于构思我的论文有很大的启发。此外，我还要感谢计算机学院的王新生老师、徐静老师等为我所付出的辛勤工作!我还要感谢我的家人对我的关心和鼓励。最后，还有许多老师、同学和朋友曾经给过我很大的帮助，他们的名字不能一一尽述，在此表示衷心的感谢!作者：阙夏 2 0 0 6 年5 月第一章绪论本章概述了K D D 的研究和发展概况，指出了本研究工作的目的和意义。首先介绍了K D D 的基本概念和K