基于深度学习的软测量建模研究.ppt

Outline：,一、研究背景二、研究内容 --基于DAE-SVR的软测量建模方法 --基于DAE-NN的软测量建模方法 --基于DAE-NN的半监督软测量建模方法 --改进的DAE-NN半监督软测量建模方法三、总结与展望,研究背景,软测量技术：利用容易测量的辅助变量，对难以测量的主导变量建模,辅助变量选择,数据采集,数据预处理,软测量模型建立,模型校正,研究背景,软测量建模研究现状：基于状态估计建模法：卡尔曼滤波基于统计回归建模法：多元线性回归、偏最小二乘回归基于统计学习理论建模法：高斯过程、支持向量回归、神经网络,存在问题：变量共线性问题：偏最小二乘回归 缺点：无法解决非线性回归问题半监督问题：高斯过程 缺点：精度低、大数据下运算量大、速度慢复杂系统建模问题：神经网络、支持向量回归 缺点：泛化误差大/运算时间长,研究背景,深度学习：多隐层、多节点海量数据逐层的特征变换与神经网络关系：均为由包括输入层、隐层（多层）、输出层组成的多层网络,研究背景,与神经网络不同点：传统神经网络是判别模型，采用的是误差反向传播的方式深度学习是生成模型，采用无监督逐层训练，全局参数调优的训练机制,,研究背景,深度学习优势：无监督预训练 - 防止过拟合 对NN的改进 - 充分利用无标签样本 半监督学习逐层特征提取 -非线性特征变换 变量共线性问题 -拟合复杂函数 建模复杂系统,研究背景,Outline：,一、研究背景二、研究内容 --基于DAE-SVR的软测量建模方法 --基于DAE-NN的软测量建模方法 --基于DAE-NN的半监督软测量建模方法 --样本加权的DAE-NN半监督软测量建模方法三、总结与展望,DAE（去噪自动编码器）,研究内容,,DAE特点:无监督训练对输入加噪声最小化重建误差特征提取,,解决变量共线性、近似复杂系统,DAE（去噪自动编码器）无监督学习相当于学习一个低维的流形结构将复杂的输入分布变为平坦光滑的分布保留沿着流形方向的变化，忽略与流形正交的变化,研究内容,Stack DAE下一层的输出作为上一层的输入提取高层抽象特征最大化输入样本出现概率,研究内容,,Outline：,一、研究背景二、研究内容 --基于DAE-SVR的软测量建模方法 --基于DAE-NN的软测量建模方法 --基于DAE-NN的半监督软测量建模方法 --样本加权的DAE-NN半监督软测量建模方法三、总结与展望,,基于DAE-SVR的软测量建模方法,,,归一化、正则化,,非线性变换、特征抽取,基于DAE-SVR的软测量建模方法,DAE特征提取消除噪声及冗余非线性特征变换发现变量间的内在关系SVR模型预测预测精度高泛化误差小核函数,高精度、近似复杂函数、消除共线性,,,基于DAE-SVR的软测量建模方法,模型在雨天污水数据上对TKN的预测值,模型在晴天污水数据上对TKN的预测值,DAE-SVR建模污水中凯氏氮含量 训练样本1000个，测试样本345个，变量8维,基于不同方法的软测量估计值,基于不同方法的上升趋势指数,,上升趋势指数反映模型跟随能力,基于DAE-SVR的软测量建模方法,DAE-SVR与SVR实验结果对比,DAE-SVR与LS-SVR实验结果对比,DAE-SVR建模超超临界机组烟气含氧量 训练样本800个，测试样本400个，变量22维,不同方法的实验结果,总结DAE特征提取可以提高模型预测精度与泛化能力DAE可以消除输入噪声，解决变量共线性问题DAE-SVR在小样本数据上具有优良性能DAE-SVR可以建模软测量中的复杂系统,基于DAE-SVR的软测量建模方法,Outline：,一、研究背景二、研究内容 --基于DAE-SVR的软测量建模方法 --基于DAE-NN的软测量建模方法 --基于DAE-NN的半监督软测量建模方法 --样本加权的DAE-NN半监督软测量建模方法三、总结与展望,基于DAE-NN的软测量建模方法,研究内容,,,初始化权值,,参数全局调优,,无监督预训练作用：减小函数的假设空间防止陷入差的局部最优解正则化作用最大化P(X)NN作用：近似复杂函数最大化P(Y),基于DAE-NN的软测量建模方法,,DAE-NN软测量模型在晴天、雨天污水数据上对TKN的预测值,基于DAE-NN的软测量建模方法,DAE-NN建模污水中凯氏氮含量 训练数据1000个，测试样本345个，变量8维,基于DAE-NN的软测量建模方法,基于不同方法的软测量估计值,基于不同方法的上升趋势指数,不同层数的DAE-NN软测量模型RMSE,DAE-NN具有良好的预测能力与泛化能力多层可以提升模型表达能力,基于DAE-NN的软测量建模方法,污水数据拉普拉斯特征映射可视化,污水数据三层DAE之后拉普拉斯特征映射,,,更平滑、维度更低、去噪,基于DAE-NN的软测量建模方法,基于DAE-NN的烟气含氧量预测结果1,基于DAE-NN的烟气含氧量预测结果2,DAE-NN建模超超临界机组烟气含氧量训练集有7248个样本，测试集有3714个样本,不同层数的DAE-NN的实验结果,原始数据PCA变换之后可视化,三层DAE后PCA变换之后可视化,基于DAE-NN的软测量建模方法,,降维、去噪,总结：DAE-NN有优于SVR与NN的预测性能与泛化能力DAE-NN适合大样本，速度快、精度高多层的DAE-NN可以很好的近似复杂系统多层DAE变换会使样本在特征空间分布更平滑 （降维、去噪）,基于DAE-NN的软测量建模方法,Outline：,一、研究背景二、研究内容 --基于DAE-SVR的软测量建模方法 --基于DAE-NN的软测量建模方法 --基于DAE-NN的半监督软测量建模方法 --样本加权的DAE-NN半监督软测量建模方法三、总结与展望,,基于DAE-NN的半监督软测量建模方法,,,提高泛化能力,不同大小无监督样本集的DAE-NN软测量模型RMSE,基于DAE-NN的半监督软测量建模方法,DAE-NN建模污水中凯氏氮含量 有标签数据: 无标签数据: 测试数据 =405:810:135,,无标签样本可以提高模型性能,不含无标签DAE权值,基于DAE-NN的半监督软测量建模方法,含无标签DAE权值,不含无标签NN权值,含无标签NN权值,微调,半监督DAE-NN的烟气含氧量预测结果1,半监督DAE-NN的烟气含氧量预测结果2,基于DAE-NN的半监督软测量建模方法,加入无标签样本前后DAE-NN模型实验结果,不同方法进行软测量建模的实验结果,DAE-NN建模超超临界机组烟气含氧量有标签数据: 无标签数据: 测试数据 =1：8：1,总结：无标签样本可以提高模型泛化能力，减小过拟合DAE预训练后，NN仅在DAE权值附近微调无标签样本分布对模型性能有较大影响,基于DAE-NN的半监督软测量建模方法,Outline：,一、研究背景二、研究内容 --基于DAE-SVR的软测量建模方法 --基于DAE-NN的软测量建模方法 --基于DAE-NN的半监督软测量建模方法 --样本加权的DAE-NN半监督软测量建模方法三、总结与展望,DBSCAN聚类：无需预先设定类别数可发现任意形状类簇可发现低密度噪声点,样本加权的DAE-NN半监督软测量建模方法,,样本加权的DAE-NN半监督软测量建模方法,DBSCAN聚类后无标签样本分布图,加权DAE-NN对TKN的预测值,样本加权的DAE-NN建模污水中凯氏氮含量 有标签数据: 无标签数据: 测试数据 =405:810:135,样本加权的DAE-NN半监督软测量模型RMSE,原始样本在特征空间的分布,经过DBSCAN聚类后的无标签样本分布图,样本加权的DAE-NN半监督软测量建模方法,,发现带标签训练样本周围的无标签样本,样本加权的DAE-NN建模超超临界机组烟气含氧量 有标签数据: 无标签数据: 测试数据 =1：8：1,样本加权半监督DAE-NN的烟气含氧量预测结果,样本加权的DAE-NN半监督软测量建模方法,样本加权前后DAE-NN模型实验结果,样本加权的DAE-NN建模超超临界机组烟气含氧量 有标签数据: 无标签数据: 测试数据 =1：8：1,总结：通过密度估计的方法可以发现低密度离群点通过对低密度样本点加权可以提高无监督预训练效果，进而提升模型的预测精度,样本加权的DAE-NN半监督软测量建模方法,Outline：,一、研究背景二、研究内容 --基于DAE-SVR的软测量建模方法 --基于DAE-NN的软测量建模方法 --基于DAE-NN的半监督软测量建模方法 --样本加权的DAE-NN半监督软测量建模方法三、总结与展望,提出了DAE-SVR与DAE-NN两种方法DAE-SVR适合小样本数据，通过特征变换提高SVR模型预测能力DAE-NN适合大样本数据，通过预训练提高NN的泛化能力无标签样本的加入可以提高DAE-NN的模型性能通过密度估计的方法对样本加权，可以提高模型泛化能力,总结与展望—总结,整合无监督预训练与有监督参数调优两个环节，提高训练速度考虑将无标签样本作为正则化项加入模型将深度学习方法应用到更广阔的工业控制领域，如故障诊断与预测领域,总结与展望—展望,。