多种机器学习方法在足球机器人系统中的应用.pdf

中国海洋大学硕士学位论文多种机器学习方法在足球机器人系统中的应用姓名：顿文力申请学位级别：硕士专业：计算机应用技术指导教师：孟庆青2003.6.1多种祝器学习方法在足球机器入系统中妁应用摘要足球机器人是目前人工智能领域研究的热点之一它通过提供一个标准问题寒键送入工餐耱释智能税器入熬磅究这个镁壤《激集成并检验缀大蕊溷蠹熬技术，同时也是推动信息领域产、学、研结合的重要途径慰球瓿嚣入系统审，每个敬豁获受逶过裰互谤俸瓣运动撵涮完成院赛夔任务每个机器人不断观察环境的状态，通过决策过程绘出对机器人左右轮速的信号在这个遥耩串，麓蘑决策彼往给窭一个运凌嚣标意，经建鼹径藏魏蜃赣毒精机器人的控制信号因此在足球机器人系统中，高层决策的智自＆度和路径规划算法载靛戆浃定了足球掇器久系统静控铡淫链机器人足球比赛的环境是一个动态、复杂、对抗的环境，并且每个机器人只筢褥翻场上酌不完全穰惠，魏秘便辊嚣入鼗逶遥不断静学习搀离鸯己熬性戆是开发足球机器人系统的关键内容褫器人足球比赛避程中，蠢予存程竞争静～方，蜜时跟踪对手的行为获态、分析对手的思维和意豳是对抗活动的基本前提，建立对手模型很有必鼹本论文淤A g e n t 的B D I 模鍪为恳维横壅，在獠率穰念逻辑蒸麓上，弓{ 入抉缀藤蓬，给出了一种多智能体对手建模的新思路并将之应用到机器人足球比赛中。

通过对敌对躲避球辊器入团驮避行建模，黯对方兹行兔避行台瑗羧溅，势虽采取辖应翡行动以创造机会遏制对方的行动本文提出的方法，还可以达到在幼态开放环境下，转瓣是信意不宠全垂孽壤况下实簿接瑟撬器入强歉孛英稳霹斧貔愚维状态，茺露敬协作提供支持另外，对手建模的过稷也是学习对手的过程，可以将从对手那熙学习裂黥毒效瓣策酶热入到叁悉熬j 藿谈信念瘁爨，戬豢塞本方繁珞足球机器人系统中，路径规划是高层决策和底层控制间的衔接部分，路径规翻算法戆缝能簌缀大稔发上影鹃梳器入获受静瞧毵零论文将壤强式掌澎算法黢人工势场法相结合，提出状态评价函数和势场的对应关系，以疑控制策略和势炀力方囱浆对应关系，逶过撬器入兹垂逶短学习，来形袋健纯熬久芏势场，佼枫醛人能够以最短路径绕道障碍，刹达目标同基予传统人工势场法相比，此方法避免了不会理势瑗方程联萼l 起熬薅罄辍，l 、蓬麓瑟，嚣量逶过学露褥裂熬繁珞，霹以得到从任意起始位置开始的最优路径通过实黢表明本文方法能有效解决多障碍舔缓中壤器人避谨窥导靛闻题，实理7 凌态强壤孛实黪、茏碰黧饶纯兹路径趣刘，并具有较好的实时性能关毽谲足球极器人系统；多键戆髂系统；梗器学习：对手建模；鼹缀羧划A p p l i c a t i o no fM a c h i n eL e a r n i n gM e t h o di nS o c c e rR o b o tS y s t e mA b s t r a e tS o c c e rR o b o ti so n eo ft h er e s e a r c hh o t s p o t si nt h ea r e ao fA r t i f i c i a lI n t e l l i g e n c e ．I tb r i n g su pas t a n d a r dt a s kt os t i m u l a t et h ei n t e r e s to ft h ep u b l i cf o rr o b o t i c sa n dA It e c h n o l o g y ．A n dr l o wi th a sb e e nu s e da sar e s e a r c hp l a t f o r mi np a r a l l e lw i t hau s a g ef o re d u c a t i o n a lp u r p o s e s ，a n dt oa d v a n c et h eo v e r a l lt e c h n o l o g i c a ll e v e lo fs o c i e t y ．I nS o c c e rR o b o tS y s t e m ，a l lt h er o b o t sc o o p e r a t et oa c h i e v et h ei o i n tt a s k ．ho t h e rw o r d s ．e v e r yr o b o tr e c e i v e se n v i r o n m e n ti n f o r m a t i o ns u c ha st h ep o s i t i o na n dv e l o c i t yo fb a l la n do t h e rr o b o t sf r o mi t ss e n s o r s ，t h e nd e c i d et h ea c t i o nf o rn e x ts t e pa c c o r d i n gt ot h es i t u a t i o n 。

硒ea b i l i t yo fd e c i s i o n - m a k i n ga n da l s ot h ea l g o r i t h mo fp a t hp l a n n i n gm a i n l yd e t e r m i n et h ep e r f o r m a n c eo ft h es y s t e m ．S om a c h i n el e a r n i n gi st h em a i ns e a r c hd i r e c t i o no fm u l t i - a g e n ts y s t e m s ．T h es p e c i f i ca p p l i c a t i o na n de x l x r i m e n t a lr e s u l t si nS o c c e rR o b o tS y s t e mp r o v et h ef e a s i b i l i t ya n dv a l i d i t yo ft h el e a r n i n gt e c h n i q u ei nc o m p l e xa d v e r s a r i a ls y s t e m s ．R o b o t s ’i n t e l l i g e n c el e v e lc a l lb ei m p r o v e dt h r o u g ht h eu s eo f t h i si n t e l l i g e n tl e a r n i n gm e t h o d ．1 1 1c h a l l e n g i n ge n v i r o n m e n t ，i ti si m p o r t a n tf o ra l la g e n tt ot r a c ka n dk e 印w a t c ho no t h e r s ．a n dt oi n f e rt h e i rh i g h - l e v e lo b j e c t i v e sa n di n t e n t i o n s ．I ti sd e s i r e dn o to n l yt ol e a r ne v e r ya g e n t ’si n t e n t i o n , b u ta l s ot oi n f e rt h eg r o u p ’si n t e n t i o n ．T h i sp a p e rp r o p o s e san e wm e t h o do fm o d e l i n go p p o n e n t si nc h a l l e n 西n ge n v i r o n m e n t , b a s e do nt h em o d e lo f B D I ( B e l i e f , D e s i r e 、I n t e n t i o n ) a n dc o m b i n e d 、Ⅳi 也t r a n s p o s i t i o np r i n c i p l ea n da l s op r o b a b i l i s t i cb e l i e fl c I g i c ．n 圮m e t h o dc a na l s ob es e r v e df o rar o b o tt oc o o p e r a t ew i t hh i st e a m m a t ef o rt h es m a r t e s ta g e n t sw i l ll e a r nt ob et e a mp l a y e r s ．O nt h eo t h e rh a n d ，t h ep r o c e s so fm o d e l i n gt h eo p p o n e n ti sa l s ot h ep r o c e s so fl e a r n i n gf r o mo p p o n e n t ．T h e nar o b o tc a ne n r i c hi t St a c t i ca n di m p r o v ei t sp e r f o r m a n c e ．1 1 1 em e t h o dh a sb e e na p p l i e dt ot h es o c c e rr o b o ts y s t e ma n dt h ee x p e r i m e n tr e s u l t ss h o wt 1 1 a tt h i sm e t h o dc a nw e l le n h a n c et h es y s t e m ’sp e r f o r m a n c ea n di n t e l l i g e n c ed e g r e e ．n l eS o c c e rR o b o tS y s t e mi sad y n a m i ce n v i r o n m e n tw i t hm u l t i p l eo b s t a c l e s ．I ti sap r o b l e mo fh i 曲c o m p l e x i t yt op e r f o r mp a t hp l a n n i n gi ns u c he n v i r o n m e n t s ．n et r a d i t i o n a lm e t h o d sa r en o te f f i c i e n ti ns u c hc o m p l e xe n v i r o n m e n t s ．I nt h i sp a p e r , as e l f - l e a r n i n gm e t h o do fr o b o tn a v i g a t i o ni sp r o p o s e db a s e do nt h er e i n f o r c e m e n tl e a r n i n gm e 也o da n da r t i f i c i a lp o t e n t i a lf i e l dm e t h o d ．B ye s t a b l i s h i n gt h ed i r e c tm a p p i n gf r o mt h es t a t es e tt ot h ea c t i o ns e t , t h ep l a n n i n ge f f i c i e n c yi si m p r o v e d ．T h el e a。