ai5不确定推理1.ppt
160页可信度方法证据理论贝叶斯网络基本概念概率方法主观Bayes方法8/31/20241 第五章 不确定性推理基本概念概率方法主观Bayes方法可信度方法证据理论8/31/20242基本概念不精确思维并非专家的习惯或爱好所至,而是客观现实的要求很多原因导致同一结果推理所需的信息不完备背景知识不足信息描述模糊信息中含有噪声规划是模糊的推理能力不足解题方案不唯一 在人类的知识和思维行为中,精确性只是相对的,不精确性才是绝对的知识工程需要各种适应不同类的不精确性特点的不精确性知识描述方法和推理方法8/31/20243基本概念什么是不确定性推理从不确定性的初始证据出发,通过运用不确定性的知识,最终推出具有一定程度的不确定性但却是合理或者近乎合理的结论的思维过程事实与结论之间存在着不确定的因果关系,且事实也是不确定的8/31/20244基本概念—不确定推理的基本问题不确定问题的数学模型表示的3方面问题表示问题:采用什么方法描述不确定性,这是解决不确定推理关键的一步计算问题:不确定性的传播和更新也是获取新信息的过程语义问题:上述表示和计算的含义是什么>>>8/31/20245基本概念—不确定推理的基本问题表示问题:表达要清楚。
表示不仅仅是数,还要有语义描述通常有数值表示和非数值表示方法,两者都不够完善数值表示便于计算、比较,再考虑到定性的非数值描述才能较好的解决不确定问题Ø知识的不确定性描述(静态强度)通常是一数值,一般由领域专家给出Ø证据的不确定性描述(动态强度)也是一数值,除初始证据由用户给定外,一般通过传递算法计算得到<<<例: E H , 已知f (H , E)和C(E),计算求得C(H)8/31/20246基本概念—不确定推理的基本问题计算问题:不确定性的传播和更新算法包括Ø已知规则 E H 的强度f (H , E)和前提的不确定性C(E),如何计算结论的不确定性 C(H) = g1(C(E),f(H,E))Ø已知某命题H的不确定性C1(H),又根据新的证据求得C2(H),如何计算新的C(H) = g2(C1(H),C2(H))Ø定义算法g3,使C(E1 ∧ E2) = g3(C(E1),C(E2))Ø定义算法g4,使C(E1 ∨ E2) = g4(C(E1),C(E2))<<<8/31/20247基本概念—不确定推理的基本问题语义问题:将各个公式解释清楚。
例如规则 E H 的强度f (H , E)有ØE为真,H为真,则f (H , E) = ?ØE为真,H为假,则f (H , E) = ?ØE对H没有影响,则f (H , E) = ?前提 E 的不确定性度量C (E)有ØE为真,则C ( E) = ?ØE为假,则C ( E) = ?Ø对E 一无所知,则C ( E) = ?<<<8/31/20248基本概念—不确定推理方法的分类模型方法:把不确定的证据和不确定的知识分别与某种度量标准对应起来,并且给出更新结论的算法,从而构成了相应的不确定性推理模型模型方法数值方法非数值方法基于概率的方法模糊推理 控制方法:通过识别领域中引起不确定性的某些特征及相应的控制策略来限制或减少不确定性对系统的影响,此类方法没有处理不确定性的统一模型,其效率极大地依赖于控制策略8/31/20249 第五章 不确定性推理基本概念概率方法主观Bayes方法可信度方法证据理论8/31/202410 第五章 不确定性推理基本概念概率方法主观Bayes方法可信度方法证据理论8/31/202411概率方法经典概率方法 E H用概率P(H|E)表示结论H的确定性程度。
问题:实际情况P(H|E)不容易求而 P(E|H)较易求逆概率方法 E Hi 用概率P(Hi|E)表示结论Hi的确定性程度 P(Hi|E) = i=1,2,3,……,n优点:理论背景强缺点:求P(Hi) 、P(E|Hi)困难P(Hi)P(E|Hi)(P(Hj)P(E|Hj)j=1 n8/31/202412 第五章 不确定性推理基本概念概率方法主观Bayes方法可信度方法证据理论8/31/202413 第五章 不确定性推理基本概念概率方法主观Bayes方法可信度方法证据理论8/31/202414主观贝叶斯方法概述在Prospector的探矿系统的研究过程中提出的 原有贝叶斯公式只考虑E出现对H的影响,没有考虑E不出现的影响 贝叶斯规则:当H为n个互不相容事件的集合时,Bayes公式可写为: 8/31/202415主观贝叶斯方法思路采用Bayes公式必须有较多的有效 样本集,且存在“关联数据”问题,即要知道在Hi下E存在的概率实际应用中无法实现,需“修正”。
先定好应该怎么办,再凑公式主要是避开P(E| H)的计算 8/31/202416主观贝叶斯方法修正的Bayes公式设只有一个证据E和一个结论H ,则 (1)(2)相除,得8/31/202417主观贝叶斯方法修正的Bayes公式设 O(H) = P(H) / P(H)为H的先验机率,>>> O(H|E) = P(H|E) / P( H|E)为H的后验机率则(3)式为同理,有即为修正的Bayes公式 >>>8/31/202418主观贝叶斯方法(规则的不确定性) 几率函数O(H) O(H)的性质P(H) = 0时, O(H) = 0假P(H) = 0.5时, O(H) = 1P(H) = 1时, O(H) = ∞真 <<<8/31/202419主观贝叶斯方法规则的不确定性定义: 表示E为真时,对H为真的影响规则成立的充分性)表示E为假时,对H为真的影响规则成立的必要性) 8/31/202420主观贝叶斯方法(规则的不确定性)则:O(H)与LN,LS的关系O(H|E) = LS • O(H)O(H|E) = LN • O(H)8/31/202421主观贝叶斯方法(规则的不确定性),且必须满足:8/31/202422主观贝叶斯方法(规则的不确定性)LS、LN≥0,不是独立取值的。
LS, LN不能同时 >1或 <1LS, LN可同时=1在实际系统中, LS, LN的值是由专家凭经验给出的,而不是依LS, LN的定义来计算的 8/31/202423主观贝叶斯方法(证据E的不确定性)P(E)或O(E)表示证据E的不确定性8/31/202424主观贝叶斯方法(推理计算1)E必出现时:O(H|E) = LS•O(H)O(H|E) = LN•O(H) 若需要概率时:8/31/202425主观贝叶斯方法(推理计算1)例:有如下推理图,问当Ei(i-=1,2,3,4,5)存在或不存在时,H的先验概率P(H)=0.03应如何变化?E3E5E2E4HE1R1:20,1R2:300,1R5:1,0.0002R3:7.5,1R4:6,18/31/202426主观贝叶斯方法(推理计算2)E不确定时:即P(E) 1 (1976年的算法)向前看一步E’, E’ 为与E有关的所有观察 P(H|E’) = P(H|E)P(E| E’)+P(H|E)P(E| E’) P(E| E’) = 1时,证据E必然出现(P168) P(E| E’) = 0时,LN代替上式 的LS, P(E| E’) = P(E) 时,(E’对E无影响),由上式 P(H| E’) = P(H) 8/31/202427主观贝叶斯方法(推理计算2)P(E| E’)与P(H| E’)坐标系上的三点: 总之是找一些P(E| E’)与P(H| E’)的相关值, 两点也可以做曲线(或折线、直线)。
由插值法从线上得到其它点的结果,具体过程见教科书上例题8/31/202428主观贝叶斯方法(推理计算2)P(H|E’) = P(H|E)P(E| E’)+P(H|E)P(E| E’) P.185 P(H|E)P(E|E’)P(H|E’)1P(H|E)0P(E)P(H)Pc(E)P(E|E’)P(H|E’)8/31/202429主观贝叶斯方法(推理计算2)证据不确定的情况下的EH公式 (P.186)0 <=P(E|E’)<= P(E)P(E) <=P(E|E’)<= 18/31/202430主观贝叶斯方法(推理计算2)例:求P(HY | E1)=?HE1R1:20,1HY300,0.001P(H)=0.03P(HY)=0.018/31/202431主观贝叶斯方法(推理计算3)两个证据时,证据的合成: 8/31/202432主观贝叶斯方法(推理计算3)两个证据时,证据的组合: 若E1 → H, E2 → H,而E1,E2相互独立,E1,E2的观察值分别为E1’,E2’则H的后验几率为: 例:P.188 例5.28/31/202433主观贝叶斯方法主观Bayes方法的评价优点:计算方法直观、明了。
缺点:要求Hj相互无关(实际不可能)P(E| H’)与P(Hi) 很难计算应用困难8/31/202434第五章 不确定性推理基本概念概率方法主观Bayes方法可信度方法证据理论8/31/202435第五章 不确定性推理基本概念概率方法主观Bayes方法可信度方法证据理论8/31/202436可信度方法(可信度的概念)可信度(信任度Degree of confirmation):又称证据强度,即一个证据对结论的支持程度 可信度的完备条件Dc1: IF E H THEN Dc(H|E) = max (当E肯定H时,Dc值最大)Dc2: IF E H THEN Dc(H|E) = min (当E肯定 H时,Dc值最小)Dc3: Dc(HE|E) = Dc(H|E) (重复证据的获取不应该增加对结论的信任度)Dc4: IF E 、H 相互独立 THEN Dc(H|E) = 08/31/202437可信度方法(可信度的概念) 可信度的设计(能反映专家主观判断知识)便于专家使用,如取值范围要直观、方便在证据不断出现时,可以累加修改,取得肯定的证据时其值增加,出现否定的证据时其值减少。
当证据绝对肯定结论时,取最大值,否则取最小值累加的最终值不应该超过度量的极限值同一个证据对几个互斥的结论产生影响时,其度量值之和不应该超过极限值能用于非确定证据的推理重复的证据不应该改变其累加值8/31/202438可信度方法(确定性方法、C-F模型)MYCIN系统研制过程中产生的不确定推理方法,第一个采用了不确定推理逻辑,70年代很有名 提出该方法时应遵循的原则不采用严格的统计理论使用的是一种接近统计理论的近似方法用专家的经验估计代替统计数据尽量减少需要专家提供的经验数据,尽量使少量数据包含多种信息新方法应适用于证据为增量式地增加的情况专家数据的轻微扰动不影响最终的推理结论 8/31/202439理论基础以定量法为工具,比较法为原则的相对确认理论采用此方法的MYCIN系统的诊断结果不是只给出一个最可信结论及其可信度,而是给出可信度较高的前几位,供人们比较选用 规则规则的不确定性度量证据(前提)的不确定性度量推理计算可信度方法8/31/202440理论基础以定量法为工具,比较法为原则的相对确认理论采用此方法的MYCIN系统的诊断结果不是只给出一个最可信结论及其可信度,而是给出可信度较高的前几位,供人们比较选用。
规则规则的不确定性度量证据(前提)的不确定性度量推理计算可信度方法8/31/202441理论基础以定量法为工具,比较法为原则的相对确认理论采用此方法的MYCIN系统的诊断结果不是只给出一个最可信结论及其可信度,而是给出可信度较高的前几位,供人们比较选用 规则规则的不确定性度量证据(前提)的不确定性度量推理计算可信度方法8/31/202442 因E而对H信任的增长 规则 (规则的不确定性度量)规则 E → H, 可信度表示为CF(H,E)定义 CF(H, E) = MB(H, E) - MD(H, E) 其中 MB(H, E) 为不相信H的概率表示由证据E引起的对H相信程度的增加量8/31/202443 因E而对H信任的减少 规则 (规则的不确定性度量)规则 E → H, 可信度表示为CF(H,E)定义 CF(H, E) = MB(H, E) - MD(H, E) 其中 MD(H, E) 为相信H的概率表示由证据E引起的对H不相信程度的增加量8/31/202444规则 (规则的不确定性度量)规则 E → H, 可信度表示为CF(H,E)。
定义 CF(H, E) = MB(H, E) - MD(H, E) 其中 MB(H, E)指示信任量度 MD(H, E)指示不信任量度 由定义知,MB和MD不可能同时 > 0,事实上如果MB>0,则MD=0(E有利于H);如果MD>0,则MB=0 (E不利于H) 8/31/202445规则 (规则的不确定性度量) 当p(H/E)>p(H)时,表示证据E支持结论H,则有MB>0,MD=0; 反之,当p(H/E)
0; 当p(H/E)=p(H)时,表示E对H无影响,则有MB=MD=0 值得注意的是,可信度CF(H, E)(即MB, MD)的值通常并不是经由p(H/E)和P(H)来计算的,而是在建立规则库时由领域专家凭经验主观确定的 8/31/202446规则 (规则的不确定性度量)规则可信度CF(H,E)有性质:1.因为0MB(H, E) 1,0 MD(H, E) 1,则-1 CF(H, E) 12.若E绝对肯定H,即P(H|E)=1,则MB(H, E) =1, MD(H, E) =0, CF(H, E) =1 ………..Dc13.若E绝对否定H,即P(H|E)=1,则MB(H, E) =0, MD(H, E) =1, CF(H, E) = -1 ………..Dc24.若E不能证实H或E、H独立,即P(H|E)=P(H),则MB(H, E) =0, MD(H, E) =0, CF(H, E) = 0 ………..Dc45.对同一个证据E,支持若干个互斥的结论Hi,则 CF(Hi, E)1 ………..Dc38/31/202447规则 (规则的不确定性度量)规则 E → H,可信度表示为CF(H,E)。
8/31/202448 规则 (规则的不确定性度量)CF(H, E)表示的意义证据为真时相对于P(H) = 1 - P(H)来说,E对H为真的支持程度即E发生更支持H发生 此时 CF(H, E)≥ 0 或,相对于P(H)来说,E对H为真的不支持程度即E发生不支持H发生 此时 CF(H, E)< 0 结论-1 ≤ CF(H, E) ≤ 18/31/202449规则 (规则的不确定性度量)CF(H, E)的特殊值:CF(H, E) = 1, 前提真,结论必真CF(H, E) = -1,前提真,结论必假CF(H, E) = 0 , 前提真假与结论无关实际应用中CF(H, E)的值由专家确定,并不是由P(H|E), P(H)计算得到的8/31/202450理论基础以定量法为工具,比较法为原则的相对确认理论采用此方法的MYCIN系统的诊断结果不是只给出一个最可信结论及其可信度,而是给出可信度较高的前几位,供人们比较选用 规则规则的不确定性度量证据(前提)的不确定性度量推理计算可信度方法8/31/202451理论基础以定量法为工具,比较法为原则的相对确认理论采用此方法的MYCIN系统的诊断结果不是只给出一个最可信结论及其可信度,而是给出可信度较高的前几位,供人们比较选用。
规则规则的不确定性度量证据(前提)的不确定性度量推理计算可信度方法8/31/202452规则 (证据的不确定性度量)证据E的可信度表示为CF( E )同样有:-1 ≤ CF( E ) ≤ 1特殊值:CF( E ) = 1, 前提肯定真 CF( E ) = -1, 前提肯定假CF( E ) = 0,对前提一无所知CF( E ) > 0, 表示E以CF( E )程度为真CF( E ) < 0, 表示E以CF( E )程度为假8/31/202453理论基础以定量法为工具,比较法为原则的相对确认理论采用此方法的MYCIN系统的诊断结果不是只给出一个最可信结论及其可信度,而是给出可信度较高的前几位,供人们比较选用 规则规则的不确定性度量证据(前提)的不确定性度量推理计算可信度方法8/31/202454理论基础以定量法为工具,比较法为原则的相对确认理论采用此方法的MYCIN系统的诊断结果不是只给出一个最可信结论及其可信度,而是给出可信度较高的前几位,供人们比较选用 规则规则的不确定性度量证据(前提)的不确定性度量推理计算可信度方法8/31/202455规则 (推理计算 - 1)“与”的计算: E1 ∧ E2 →HCF(E1 ∧ E2 ) = min { CF(E1), CF(E2 )}“或”的计算:E1 ∨ E2 →HCF(E1 ∨ E2 ) = max { CF(E1), CF(E2 )} “非”的计算:CF(E ) = - CF(E ) 由E, E →H, 求 H: CF(H) = CF(H,E ) · max { 0, CF(E)} (CF(E) < 0 时可以不算即为“0”)8/31/202456规则 (推理计算 - 2)合成,由两条规则求出再合并: 由CF1(H)、 CF2(H),求 CF(H) 8/31/202457规则 (推理计算 - 3)n更新,CF(H)的更新算法: 由CF(E)、E →H、CF(H, E )、CF(H),求后验 CF(H|E)a) 当E必然发生,CF(E)=1时: 8/31/202458规则 (推理计算 - 3)n更新,CF(H)的更新算法: 由CF(E)、E →H、CF(H, E )、CF(H),求后验 CF(H|E)b) 当E不必然发生, 0 < CF(E) <1时,用CF(E)CF(H, E)代替CF(E)=1时的CF(H, E)即可。
8/31/202459规则 (推理计算 - 3)n更新,CF(H)的更新算法: 由CF(E)、E →H、CF(H, E )、CF(H),求后验 CF(H|E)c) 当E不必然发生, CF(E) < 0时,规则E H 不可使用,即此计算不必进行 如MYCIN系统CF(E)0.2就认为是不可使用的其目的是使专家数据经轻微扰动不影响最终结果 8/31/202460可信度方法例:有以下规则R1: If e1 then h (0.9) R2: If e2 then h (0.7)R3: If e3 then h (-0.8)R4: If e4 and e5 then e1 (0.7)R5: If e6 and (e7 or e8) then e2 (1)设系统在问题求解过程中已经获得 CF(e3)=0.3,CF(e4)=0.9,CF(e5)=0.6,CF(e6)=0.7,CF(e7)=-0.3,CF(e8)=0.8求 CF(H)=?e1 e2 e3e4 e5 e6 e7 e 8h0.9 0.7 -0.8 r1 r2 r3 0.7 1 0.3 r4 r5 0.9 0.6 0.7 -0.3 0.8 8/31/202461可信度方法评论可信度方法的宗旨不是理论上的严密性,而是处理实际问题的可用性。
不可一成不变地用于任何领域,甚至也不能适用于所有科学领域推广至一个新领域时必须根据情况修改 8/31/202462可信度方法 尽管确定性方法使MYCIN和其它一些专家系统能简单有效地实现不确定性推理,但仍存在不少问题现归纳如下: (1)如何将人表示可信度的术语转变为数字化的CFs例如,人的经验规则常涉及"很可能"、"不大可能"等术语,应对应到多大的CF值 (2)如何规范化人们对可信度的估计,不同人所作的估计往往相差较大 8/31/202463可信度方法 (3)为防止积累误差,需指定门槛值,但多大合适呢?太小固然不行,但太大也不好,因为可信度的传递需要累计较小的变化 (4)为改进可信度的精确性,需提供从系统的实际执行反馈的信息,并基于反馈信息调整可信度这实际上是一种机器学习问题,尚未较好地加以解决 正因为这些问题的存在,限制了MYCIN提出的确定性方法只能用于对不确定推理的精度要求不高的场合 8/31/202464第五章 不确定性推理基本概念概率方法主观Bayes方法可信度方法证据理论8/31/202465第五章 不确定性推理基本概念概率方法主观Bayes方法可信度方法证据理论8/31/202466证据理论 (Evident Theory)概述证据的不确定性应用模型推理计算8/31/202467证据理论 (Evident Theory)概述由Dempster首先提出,并由他的学生Shafer发展起来,也称D-S理论。
在专家系统的不精确推理中已得到广泛的应用 (也用在模式识别中)证据理论中引入了信任函数,它满足概率论弱公理在概率论中,当先验概率很难获得,但又要被迫给出时,用证据理论能区分不确定性和不知道的差别所以它比概率论更合适于专家系统推理方法当概率值已知时,证据理论就成了概率论因此,概率论是证据理论的一个特例,有时也称证据论为广义概率论8/31/202468证据理论 (Evident Theory)概述证据的不确定性应用模型推理计算8/31/202469证据理论 (Evident Theory)概述证据的不确定性应用模型推理计算8/31/202470证据理论 (证据的不确定性)证据: 用集合D来表示:如D中的每个元素代表一种疾病讨论一组疾病A发生的可能性时,A变成了单元(某些假设)的集合D内元素Ai间是互斥的,但Ai中元素间是不互斥的8/31/202471证据理论 (证据的不确定性)基本概率分配函数: M:2D→[0,1](在D的幂集2D上定义,取值[0,1])M(A)表示了证据对D的子集A成立的一种信任度 有: 空集为零 意义若A D,且A D,表示对A的精确信任度若A = D,表示这个数不知如何分配8/31/202472证据理论 (证据的不确定性)基本概率分配函数:例,某个体的颜色只可能为红、兰、绿,则建立相应论域D = {红,兰,绿}。
可以给D的所有子集分配基本概率,如:M({红,兰,绿},{红,兰}, {红,绿}, {兰,绿}, {红}, {兰}, {绿}, Φ) =( 0.2, 0.2, 0.2, 0, 0.3, 0, 0.1, 0)则M({红,兰}) = 0.2意指该个体颜色为红或兰的信任程度是0.20.2不是分配给红就是给兰注意,M是2 D上而非 D上的概率分布,所以基本概率 M(A)不必等于概率P(A),而且M(A)≠ 1 8/31/202473证据理论 (证据的不确定性)信任函数Bel:2D→[0,1] (在D的幂集2D上定义,取值[0,1])Bel(A) = 有: Bel(Φ) = M(Φ) = 0 , Bel(D) = = 1 Bel类似于概率密度函数,表示A中所有子集的基本概率分配数值的和,用来表示对A的总信任度 8/31/202474证据理论 (证据的不确定性)信任函数在上例中, D = {红,兰,绿},M({红,兰,绿},{红,兰}, {红,绿}, {兰,绿}, {红}, {兰}, {绿}, Φ) =( 0.2, 0.2, 0.2, 0, 0.3, 0, 0.1, 0)。





