CY非参数回归介绍
13页1、非参数回归简介一、参数回归与非参数回归的特点无论是线性回归还是非线性回归,其回归函数形式都是已知的,只是其中参数待定,所以可称为参数回归。参数回归的最大优点是回归结果可以外延,但其缺点也不可忽视,就是回归形式一旦固定,就比较呆板,往往拟合效果较差。另一类回归,非参数回归,则与参数回归正好相反。它的回归函数形式是不确定的,其结果外延困难,但拟合效果却比较好。参数回归与非参数回归的优缺点比较:参数回归:优点: (1).模型形式简单明确,仅由一些参数表达(eg: y=a+bx+e, a,b为待估参数) (2).在经济中,模型的参数一般都具有明确的经济含义 (3).当模型参数假设成立,统计推断的精度较高,能经受实际检验 (4).模型能够进行外推运算 (5).模型可以用于小样本的统计推断缺点: (1).回归函数的形式预先假定 (2).模型限制较多:一般要求样本满足某种分布要求,随机误差满足正态假设,解释变量间独立,解释变量与随机误差不相关,等 (3).需要对模型的参数进行严格的检验推断,步骤较多 (4).模型泛化能力弱,缺乏稳健性,当模型假设不成立,拟合效果不好,需要修正或者甚至更换模型非参数回
2、归:优点; (1).回归函数形式自由,受约束少,对数据的分布一般不做任何要求 (2).适应能力强,稳健性高,回归模型完全由数据驱动 (3).模型的精度高(4).对于非线性、非齐次问题,有非常好的效果缺点: (1).不能进行外推运算 (2).估计的收敛速度慢 (3).一般只有在大样本的情况下才能得到很好的效果,而小样本的效果较差 (4).高维诅咒, 光滑参数的选取一般较复杂二、非参数回归的方法简介非参数回归方法样条光滑正交回归核回归:N-W估计、P-C估计、G-M估计局部多项式回归:线性、多项式 光滑样条:光滑样条、B样条近邻回归:k-NN、k近邻核、对称近邻正交级数光滑局部回归Fourier级数光滑wavelet光滑处理高维的非参数方法:多元局部回归、薄片样条、可加模型、投影寻踪、回归树、张量积等。回归模型:设Y为被解释变量,X为解释变量,当X为维随机变量时,为的相互独立观测样本。非参数回归模型如下: (1)其中为相互独立同分布随机变量,满足期望,方差。是未知的函数,目标是要把估计出来。易知,。权函数方法非参数回归的基本方法有核函数法,最近邻函数法,局部多项式方法、样条函数法,小波函数
3、法。这些方法尽管起源不一样,数学形式相距甚远,但都可以视为关于Yi的线性组合的某种权函数。也就是说,回归函数的估计总可以表为下述形式: (2)其中Wi(X)称为权函数。这个表达式表明,总是Yi的线性组合,一个Yi对应一个Wi。不过Wi与Xi倒没有对应关系,Wi如何生成,也许不仅与Xi有关,而且可能与全体的Xi或部分的Xi有关,要视具体函数而定,所以Wi(X)写得更细一点应该是Wi(x;X1,,Xn)。这个权函数形式实际也包括了线性回归。如果,则,也是Yi的线性组合。在一般实际问题中,权函数都满足下述条件:(3) 下面我们结合具体回归函数看权函数的具体形式。 1核函数法(N-W估计) 选定Rd空间上的核函数K,一般取概率密度。令 (4)显然。此时回归函数就是 (5)核函数估计的基本性质:定理1.设模型(1)中的的N-W核函数估计为(2)式,且满足以下条件: (A1) (A2) (A3) (A4) 则对每一,的连续点,以及,有2.近邻权函数估计 近邻权估计不同于核估计的构建,核估计是在某固定邻域内所对应的解释变量的局部加权平均,估计的好坏主要在于核函数及光滑参数的选取。由核估计的定义知道,
4、核估计的边界点的偏差将大于内点处的偏差。也就是说,核估计存在边界效应问题。而近邻权估计是用最靠近的个观察值所对应的个解释变量的加权平均值。由核函数的选择不同,分为近邻均匀权估计与近邻核权估计。非参数模型(1)的近邻均匀权估计为 其中令,为正整数,.显然决定了权的大小及参加平均的的多少,实际上类似于N-W估计中的光滑参数,较大时,会提高近邻均匀权估计的光滑度。3.局部多项式估计局部多项式估计使用局部广义最小二乘的思想,依靠局部多项式逼近.设在处的阶导数存在,为邻域内的任一点,则的Taylor展开式为 (6)因此,可以视为待估参数,令,则(6)式可写为 (7)这里为的观测样本。 。由WLSE解上式得.于是在(6),(7)中:当取遍的样本点时,可以得到整个曲线的估计。LPE估计的主要优点为:可以同时用于当X为随机或者固定设计的形式,并同时给出所有阶的估计。更重要的是不必修正边界。不难发现,N-W回归估计(*)是(7)局部多项式估计的特例。事实上,当时,若令,则 此时即为N-W估计(亦称局部常数估计),同理可考察。对于样条光滑估计、傅里叶级数光滑估计、小波估计等估计方法由于时间原因这里不做介绍
《CY非参数回归介绍》由会员jiups****uk12分享,可在线阅读,更多相关《CY非参数回归介绍》请在金锄头文库上搜索。
建立安全生产长效机制-共创和谐平安输气管道
土石方爆破工程设计方案
康师傅百货商场制度汇编之退换货管理办法
庙头中学2012年中考百日誓师大会学生代表发言稿
围堰拆除爆破工程
华能洱源马鞍山风电场工程土石方爆破管理制度
国资委:全面开展管理提升活动-为培育世界一流企业奠定坚实基础
《专业技术人员职业发展与规划》电子书
应收票据审计方案
建筑给水排水与采暖工程质量验收用表
广播电视管理条例行政处罚裁量标准
广东电力系统调度运行操作管理规定
建筑给排水工程名词解释
幼儿园小班安全健康活动教案:宝宝误食后的急救
建业集团房屋建筑工程交房标准内容技术交底
建筑心理学论文(1)
康师傅百货商场制度汇编之工服管理程序009
建筑工程专业一级建造师继续教育培训结业报告20
廉洁风险防控回头看工作汇报材料
平台工作人员服务规范
2024-04-24 10页
2024-04-24 10页
2024-04-24 25页
2024-04-24 10页
2024-04-23 4页
2024-04-23 10页
2024-04-23 19页
2024-04-23 10页
2024-04-23 16页
2024-04-23 5页