L-概率推理-人工智能(AI).ppt

概率信度状态与概率推理Probabilistic Belief States and Probabilistic Inference (通过探索少量直接影响的事件来推理整个世界)  R&N: Chap. 14, Sect. 14.1–4,概率信度Probabilistic Belief,考虑这样的一个问题，该问题的整个世界由牙科医生D和患者P组成D关心的只是P是否有牙洞；因此可由单个命题：Cavity，描述问题的状态在对患者P作检查（观察）之前，D并不知道P是否有牙洞，但由多年的行医实践，他认为一个人有牙洞（Cavity）的概率会是P，而没有牙洞（Cavity）的概率则是1－P于是命题Cavity成为了一个布尔随机变量，而(Cavity, p)则称为概率信度,概率信度状态Probabilistic Belief State,整个牙医问题世界只有两种可能状态，分别由Cavity 和 Cavity 描述一个智能体的概率信度状态即为智能体自己认为的问题世界所有状态的概率分布在牙医问题的例子中，D的信度状态为：,智能吸尘器Vacuum Robot,如果机器人不知道问题世界的状态的具体情况，它会认为所有的状态有着同样的可能性（无差别原理），于是其信度状态将会为：,信度与信度状态是怎样发生联系的？How are beliefs and belief states related?,(Clean(R1), 5/16)(Clean(R2), 0.5)(In(Robot,R1), 0.5)(In(Robot,R2), 0.5),通常处理单个信度比处理整个信度状态更为方便, 例如: 机器人仅当Clean(R2)概率很低的时候执行Suck(R2) 机器人可直接观察是否Clean(R1)或Clean(R2),,单个信度是怎样影响到这个信度状态及其它的信度的?,,回到牙医的例子......,现在我们使用3个命题：Cavity, Toothache, 和 PCatch，来表示整个牙医问题世界D的信度状态由23 = 8 个状态组成，每个状态有对应的概率 : {CavityToothachePCatch, CavityToothachePCatch, CavityToothachePCatch,...},信度状态可由所有命题的全联合概率定义The belief state is defined by the full joint probability of the propositions,Toothache,Toothache,,,概率推理Probabilistic Inference,Toothache,Toothache,P(Cavity Toothache) = 0.108 + 0.012 + ... = 0.28,,Toothache,Toothache,P(Cavity) = 0.108 + 0.012 + 0.072 + 0.008 = 0.2,概率推理Probabilistic Inference,Toothache,Toothache,边缘化 Marginalization: P(c) = StSpc P(ctpc) 式中 c = Cavity 或 Cavity， St 是有关t = {Toothache, Toothache}的和，Spc是有关{PCatch, PCatch}的和,概率推理Probabilistic Inference,条件概率Conditional Probability,P(AB) = P(A|B) P(B) = P(B|A) P(A)P(A|B) 是给定B，A的后验概率,,Toothache,Toothache,P(Cavity|Toothache) = P(CavityToothache)/P(Toothache) = (0.108+0.012)/(0.108+0.012+0.016+0.064) = 0.6解释：在观察到有牙疼 (Toothache)之后，患者有牙洞的概率将不再是“平均”的概率，即Cavity 的先验概率已不再适用P(Cavity|Toothache)的值可通过保持上表蓝色4项之间的比率不变，并将它们的和进行归一化得到,,Toothache,Toothache,P(Cavity|Toothache) = P(CavityToothache)/P(Toothache) = (0.108+0.012)/(0.108+0.012+0.016+0.064) = 0.6P(Cavity|Toothache)=P(CavityToothache)/P(Toothache) = (0.016+0.064)/(0.108+0.012+0.016+0.064) = 0.4P(c|Toochache) = a P(c Toothache) = a Spc P(c Toothache  pc) = a [(0.108, 0.016) + (0.012, 0.064)] = a (0.12, 0.08) = (0.6, 0.4),条件概率Conditional Probability,P(AB) = P(A|B) P(B) = P(B|A) P(A)P(ABC) = P(A|B,C) P(BC) = P(A|B,C) P(B|C) P(C)P(Cavity) = StSpc P(Cavitytpc) = StSpc P(Cavity|t,pc) P(tpc)P(c) = StSpc P(ctpc) = StSpc P(c|t,pc)P(tpc),独立性Independence,两个随机变量A和B是独立(independent)的如果  P(AB) = P(A) P(B)  即 P(A|B) = P(A) 两个随机变量A和B是给定C条件下独立的如果  P(AB|C) = P(A|C) P(B|C) 即 P(A|B,C) = P(A|C),信度状态更新Updating the Belief State,Toothache,Toothache,假设D现在观察到患者牙疼(Toothache) 的概率为0. 8(例如, “患者说有牙疼”) 那么D应该如何对其信度状态进行更新呢?,Updating the Belief State,Toothache,Toothache,令E为证据，在证据E出现的条件下有 P(Toothache|E) = 0.8我们想计算P(ctpc|E) = P(cpc|t,E) P(t|E)由于E与牙洞或器械感染不直接相关, 因此可以认为在给定t条件下， c、pc和E是独立的，则有: P(cpc|t,E) = P(cpc|t),令E为证据，在证据E出现的条件下有 P(Toothache|E) = 0.8我们想计算P(ctpc|E) = P(cpc|t,E) P(t|E)由于E与牙洞或器械感染不直接相关, 因此可以认为在给定t条件下， c、pc和E是独立的，则有: P(cpc|t,E) = P(cpc|t),Updating the Belief State,Toothache,Toothache,一些问题,如果一个状态由n个命题描述，则信度状态包含2n个状态 (可能其中一些概率为0) 建模的难点 计算量问题,给定Cavity (或 Cavity)条件下，Toothache 和 PCatch是独立的，只不过该独立关系隐藏在数字后！ [请同学们自行验证]贝叶斯网络 Bayesian networks 将命题之间的独立性明确表示出来，从而减少了定义整个信度状态所需的概率数量,Toothache,Toothache,贝叶斯网络Bayesian Network,注意到Cavity是Toothache和PCatch的“起因”，然后将这样的因果关系明确的表示出来给出Cavity的先验概率分布给出Toothach和PCatch的条件概率表,Cavity,Toothache,,PCatch,,5个概率，而全联合概率分布需要7个概率,P(ctpc) = P(tpc|c) P(c) = P(t|c) P(pc|c) P(c),一个稍复杂的BN,有向无环图Directed acyclic graph,x到y的弧的直觉意义：“x对y有直接影响”,一个节点(k个父亲节点)的CPT概率数量为: 2k,一个稍复杂的BN,10个概率，而全联合概率分布需要31个概率,BN编码了些什么内容?,给定Alarm 或 Alarm条件下，JohnCalls、 MaryCalls与Burglary或 Earthquake是独立的,例如，John不直接观察是否有盗贼闯入,P(bj)  P(b) P(j)P(bj|a) = P(b|a) P(j|a),给定Alarm 或 Alarm条件下，JohnCalls、 MaryCalls与Burglary或 Earthquake是独立的,例如，铃声响的条件下， John 和 Mary是否打两者是独立的,BN编码了些什么内容?,一个节点在其父节点条件下，和其非子孙节点是独立的,P(bj|a) = P(b|a) P(j|a)P(jm|a) = P(j|a) P(m|a),给定Alarm 或 Alarm条件下，JohnCalls、 MaryCalls与Burglary或 Earthquake是独立的,例如，铃声响的条件下， John 和 Mary是否打两者是独立的,BN编码了些什么内容?,一个节点在其父节点条件下，和其非子孙节点是独立的,盗贼Burglary 和地震 Earthquake 是独立的,Locally Structured World,一个问题世界若其每个组成均只与少数的其他组成产生直接的影响，那么该问题世界可被局部重构（locally structured）在这样的局部重构世界里，CPT（条件概率表）很小，且BN所需的概率数量要比全联合分布少得多BN与全联合分布两者的复杂度对比可由一个例子得到，假设由n＝30个节点，每个节点有5个父节点，则整个BN需要960个概率数据，而全联合概率分布需要的数量将超过10亿个,但是可以表达完整的信度状态吗?换句话说，即能够由BN计算出命题的全联合概率分布吗?,计算联合概率,P(JMABE) = ??,P(JMABE)= P(JM|A,B,E)  P(ABE)= P(J|A,B,E)  P(M|A,B,E)  P(ABE)(J 和 M 在给定A条件下是独立的)P(J|A,B,E) = P(J|A)(J 和 BE在给定A条件下是独立的)P(M|A,B,E) = P(M|A)P(ABE) = P(A|B,E)  P(B|E)  P(E) = P(A|B,E)  P(B)  P(E)(B 和 E 是独立 )P(JMABE) = P(J|A)P(M|A)P(A|B,E)P(B)P(E),Calculation of Joint Probability,P(JMABE)= P(J|A)P(M|A)P(A|B,E)P(B)P(E)= 0.9 x 0.7 x 0.001 x 0.999 x 0.998= 0.00062,Calculation of Joint Probability,。