机器学习与模式识别-第5章_非线性判别函数.pdf

第五章 非线性判别函数 1 5.1 分段线性判别函数的概念 5.2 用凹函数的并表示分段线性判别函数 5.3 用交遇区的样本设计分段线性分类器 5.4 二次判别函数 2 5.1 分段线性判别函数的基本概念 3 ω1 ω1 ω2 二次判别函数 分段线性判别函数 线性判别函数 5.1 分段线性判别函数的基本概念 •分段线性判别函数：一种 特殊的 非线性判别函数 ，它的决策面是若干超平面 •有些复杂模式识别问题不是线性可分的，需使用非线性的分类方法 •树分类器 的各节点上采用线性判别规则，即构成分段线性分类器 4 5.1.1 基于距离的分段线性判别函数 •最小距离分类器 ：把各类别样本特征的 均值向量 作为各类的 代表点 (prototype) ，根据待识样本到各类别代表点的最小距离判别其类别决策面是两类别均值连线的垂直平分面 •分段线性距离分类器：将各类别 划分成相对密集的子类 ，每个子类以它们的均值作为代表点，然后按最小距离分类 •判别函数定义： ωi有 li个子类，即属于 ωi 的决策域 Ri分成 li个子域 Ri1, Ri2,… , Rili)，每个子区域用均值 mik代表点 5 1 , . . . ,( ) m i n ikiiklg x x m判别规则： 1 , . . . ,a rg m i n ( )iicjg x1 , . . . ,i f ( ) m i n ( ) t h e n j i jicgg x x x判别函数 6 分段线性距离分类器图例 m1 m2 x g(x)=0 x 7 5.1.2 分段线性判别函数 如前图 : 各类样本服从正态分布但非等协方差分布 , 等概率密度面为超椭球面 .利用贝叶斯决策 , 属于哪一类 ? 利用最小距离决策属于哪一类 ? 8 解决方法 : 将每个大类分成若干子类 ,针对每个子类定义一个 线性判别函数 . 9 思考：其他方法？ x • 分段线性判别函数的一般形式 : gik(x)表示第 i类第 k段线性判别函数， li为 i类所具有的判别函数个数， wik与 wi0k分别是第 k段的权向量与阈值权 ()0( ) , 1 , 2 , . . . , ; 1 , . . . ,k k T ki i i ig w k l i c   x w x• 第 i类的判别函数 : 1 , . . . ,( ) m a x ( )ikiiklgg xx• 判别规则 : 1 , . . . ,i f ( ) m a x ( ) t h e n j i jicgg x x x• 决策面取决于相邻的决策域，如第 i类的第 n个子类与第 j类的第 m个子类相邻，则由它们共同决定的决策面方程为 ( ) ( )nmijggxx10 5.1.3 分段线性分类器设计的一般考虑 1. 利用 多类线性判别函数算法 设计分段线性分类器 针对每个子类设计分类器 前提条件：已知子类划分 11 5.1.3 分段线性分类器设计的一般考虑 2. 已知 子类数目 时的分段线性判别函数 基于优化的方法 (Ref. P85) 步骤一：任意给定各个子类的初始权向量 步骤二：利用训练样本集进行迭代（依次验证当前权向量是否可以正确分类各个样本），如果出现分类错误，则修改出现错误的权向量 步骤三：重复上面迭代过程直至算法收敛 （有不收敛情况，可逐渐缩小修正步长办法强制收敛） 12 1 , . . . ,( ) m a x ( )ikiiklgg xx1 , . . . ,i f ( ) m a x ( ) t h e n j i jicgg x x x5.1.3 分段线性分类器设计的一般考虑 3. 未知子类数目的分段线性判别函数 利用 树状 分段线性分类器 (Ref. P86图 ) 不断地用两类线性判别函数算法找一个权向量（可选择两类样本中欧式距离最近的 2样本连线的垂直平分面的法向量为初始值，然后求得局部最优解），划分样本集，直到最后一个权向量把两类样本完全分开为止。

13 5.2 用凹函数的并表示分段线性判别函数 5.2.1 分段线性判别函数的表示 14 L11 L12 L13 L14 L15 L21 L22 L23 L24 L31 L32 L33 L34 5.2 用凹函数的并表示分段线性判别函数 5.2.1 分段线性判别函数的表示 15 P=max{min[L11, L12, L13, L14, L15], min[L21, L22, L23, L24], min[L31, L32, L33, L34]} 5.2 用凹函数的并表示分段线性判别函数 5.2.1 分段线性判别函数的表示 16 算法： 步骤一：任意给定初始权向量 步骤二：迭代验证权向量是否能正确分类，不能，则修正权向量 步骤三：重复上述过程，直至收敛（或设定迭代次数，到达次数停止） 初始权向量不同，结果不同在有限步骤内没有收敛时，可以尝试不同的初始值 5.3 用 交遇区 的样本设计分段线性分类器 17 5.4 二次判别函数 18 思考：其他方法？ x 5.4 二次判别函数 19 g(x)=xTWx+wTx+w0 = 计算复杂，需要确定 1+d*(d+3)/2 个系数 5.4 二次判别函数 20 二次判别函数 其中， 对于分布成比较成团的类 iiNjTijijiiNjjimxmxNxNm11))((1115.4 二次判别函数 21 x 。