化学计量学课件

化学计量学方法基础 Basic Chemometric Methods,化学计量学的定义,简言之，化学计量学可以表述为：化学计量学研究运用数学，统计学与计算机科学的方法，进行化学量测试验设计与数据的处理，分类，解析和预测。实际上，可以认为化学计量学是分析化学与数学，统计学及计算机科学之间的“接口”。,化学计量学的发展可分为三个阶段,准备阶段（60年代及以前） 兴起与发展阶段（70年代） 迅速发展阶段（80年代及以后）,准备阶段（60年代及以前）,这个阶段可以认为是化学计量学发展的前期，在“化学计量学”这一名词出现之前，各种数理统计方法已经被应用在化学中，研究化学及其它量测误差的Student 分布，即t-分布，就是化学家W. S. Gossett作出的贡献。有机化学家早期研究的线性自由能关系，可以认为是化学计量学的重要分支定量构效关系研究的前身。分析化学家广泛应用数理统计方法考察结果的误差，这些方法多属于“描述型”的，如计算分析结果的标准偏差，置信区间等。 60年代末期，计算机应用日益广泛，为70年代化学计量学的形成和发展准备了条件。,兴起与发展阶段（70年代）,70年代是化学计量学的兴起与发展的时期，这期间出现了“化学计量学”这一名词。化学工作者，特别是分析化学工作者为这一新的化学学科分支的发展做出了重要的贡献。化学工作者并不局限于应用现成的数学与统计学方法，他们根据化学学科的需要创造了一系列化学量测数据的处理，分类，解析和预测的方法。 计算机技术的发展和计算机日益普及，促进了化学计量学的迅速发展。,迅速发展阶段（80年代及以后）,化学计量学在80年代后有了更大的发展，各种新的化学计量学算法的基础和应用研究取得了长足的进展，编制了许多化学计量学软件，有的软件已成为现代化学量测仪器，主要是分析仪器的重要组成部分。,迅速发展阶段（80年代及以后）,90年代，化学计量学步入新的发展时期。由于计算机及软件技术的更新与发展，符号处理高级语言的普及应用，使许多过去认为过于复杂难于普及的化学计量学算法逐步推广应用。愈来愈多的化学工作者认识到，化学计量学方法是日常工作中不可缺少的工具，借助这些工具，才能有效地处理化学试验中得到的大量分析数据，从中提取更多的有用的信息。,通常的化学计量学文献中包括的主要内容,统计学方法 最优化方法 信号处理 因子分析 曲线分辨 校准,模型化与参数估计 结构与性能相关，数据库及其检索 模式识别 人工智能与专家系统,专门的化学计量学刊物,Journal of Chemometrics Chemometrics and Intellingent Laboratory System在美国Analytical Chemistry和Analytica Chemica Acta 等杂志上，都刊有许多化学计量学方面的文章。,概念混淆,值得注意的是，切不可把化学计量学与研究化合物组成的经典的“化学计量关系”的概念相混淆。化学计量学是运用数学，统计学和计算机科学的方法进行化学量测试验设计与量测数据的处理，分类，解析和预测，而“化学计量关系”是指化合物中元素组成的比例关系。,理论的丰富和扩充,以前，有人曾认为分析化学是一门纯粹的实验科学，没有理论。后来发展了溶液理论的四大平衡，即酸碱平衡，氧化还原平衡，沉淀平衡和络合平衡。这些称为分析化学的经典理论。随着仪器分析方法成为分析化学的重要部分，使分析化学增加了新的理论内容。近年来化学计量学的兴起和发展，用数学，统计学和计算机技术对现代分析化学理论做了深入的研究和发展，使分析化学理论得到进一步的丰富和扩充。,方差分析 ANOVA,ANALYSIS OF VARIANCE,§4.1,教学目的：培养学生具有对不同试验资料运用方差分析方法进行数据处理和统计分析的基本能力。 教学要求：要求学生掌握方差分析概念、作用，方差分析的基本原理与步骤，单因素试验资料的方差分析方法。 教学重点：单因素试验资料的方差分析方法。,教学纲要,方差分析也是统计检验的一种。由英国著名统计学家：R.A.FISHER推导出来的。,第一节 方差分析简述,1、试验指标（响应值）：为衡量试验结果的好坏或效应的高低，在试验中具体测定的性状或观测的项目称为试验指标。 2、试验因素： 试验中所研究的影响试验指标的因素叫试验因素，或者试验中具体考察的试验内容称为试验因素。当试验中考察的因素只有一个时，称为单因素试验；若同时研究两个或两个以上的因素对试验指标的影响时，则称为两因素或多因素试验。 3、因素水平： 试验因素所处的某种特定状态或数量等级称为因素水平，简称水平。,常用试验设计术语:,4、试验处理(组）： 事先设计好的实施在试验单位上的具体项目叫试验处理，简称处理。在单因素试验中，实施在试验单位上的具体项目就是试验因素的某一水平，试验因素的一个水平就是一个处理。在多因素试验中，实施在试验单位上的具体项目是各因素的某一水平组合，试验因素的一个水平组合就是一个处理。 5、试验单位（点）： 在试验中能接受不同试验处理的独立的试验载体叫试验单位。试验单位往往也是观测数据的单位。,方差分析的基本思想,根据数据的设计类型，即方差的不同来源，将全部观察值总的方差平方和及自由度分解为两个或多个部分，除随机误差外，其余每个部分的方差可由某个因素的作用加以解释，通过比较不同来源方差的均方（MS），借助F分布做出统计推断，从而了解该因素对观察指标有无影响。,方差分析的概念,对总方差进行分析。看总方差是由哪些部分组成的，这些部分间的关系如何。,方差分析是数理统计的一个基本方法，方差分析方法是将kn个处理的观测值作为一个整体看待它，通过试验数据分析出各因素以及各因素之间的交互作用的影响，分离和估计方差的不同来源。也就是对变异的分析。,方差分析实质上是关于观测值变异原因的数量分析。 与前面讲过的统计检验不同的是：用于多个样本间均值的比较。,在方差分析中是用样本方差即均方(MS）来度量数据的变异程度的。表5-1中全部观测值的总变异可以用总均方来度量。将总变异分解为组间变异和组内变异，就是要将总均方分解为组间均方和组内均方。但这种分解是通过将总均方的分子称为总离均差平方和，简称为总平方和，剖分成组间平方和与组内平方和两部分；将总均方的分母称为总自由度，剖分成组间自由度与组内自由度两部分来实现的。,平方和与自由度的剖分,有关方差分析的几个符号,什么是方差？ 总平均值 离均差平方和SS 方差（2 S2 ）均方（MS）= S2/n标准差：S 自由度： 关系： MS= SS/ ,表中 表示第i个处理的第j个观测值（i=1,2,k；j=1,2,n）,表示第i个处理n个观测值的和,表示全部观测值的总和,表示第i个处理的平均数,表示全部观测值的总平均数,反映全部观测值总变异的总平方和是xij与 的 离均差平方和，记为SST,SST=SSt+SSe 其中,组间平方和，记为SSt，即,组内平方和或误差平方和，记为SSe，即,总平方和的剖分,单因素试验结果总平方和、处理间平方和、处理内平方和的简便计算公式如下：,C=x2··/kn （C称为矫正数）,总自由度的剖分,在计算总平方和时，资料中的各个观测值要受 这一条件的约束，故总自由度等于资料中观测值的总个数减一，即kn-1。总自由度记为dfT，即dfT=kn-1。,在计算组间平方和时，各处理均数 要受 这一条件的约束，故组间自由度为处理数减一，即k-1。组间自由度记为dft，即dft=k-1。,在计算组内平方和时，要受k个条件的约束，即（i=1,2,k）。故处理内自由度为资料中观测值的总个数减k，即kn-k 。处理内自由度记为dfe，即dfe=kn-k=k(n-1)。,因为 所以 综合以上各式得：,各部分平方和除以各自的自由度便得到总均方、组间均方和组内均方，分别记为MST（或 ）、 MSt （或 ）和MSe（或 ）。即,统计量F 的计算及其意义,F=MS组间/MS组内自由度： 组间=组数-1组内=kn-组数通过这个公式计算出统计量F，查表求出对应的P值，与进行比较，以确定原假设是否成立。,完整书写方差分析的过程,建立假设：H0 ：总体均数相等 1 = 2 = 3= 4 H1 ： 总体均数全不相等或不全相等H1与H0相反，如果H0被否决，则H1成立。 确定显著性水平，用 表示。区分大小概率事件的标准，常取0.05。 计算统计量F： F=MS组间/MS组内 根据资料的性质选择不同的统计方法。注意都是在H0成立的条件下进行计算。 做出推论：统计学结论和专业结论。,应用条件,各样本是相互独立的随机样本 各样本来自正态分布 各样本方差相等，即方差齐。,第二节 多个样本均数比较 （单因素方差分析）,注意原假设和备择假设的提法。,例 题,某社区随机抽取糖尿病患者、IGT异常和正常人共30人进行载蛋白测定，结果如下，问3种人的载蛋白有无差别？即单因素（载蛋白）在3个水平（糖尿病患者、IGT异常和正常人）的影响是否显著？,Xij第i 个组的第j 个观察值 I=1,2,k J=1,2,ni ni第i 个处理组的例数 ni=N Xi =第i组的均值X=总的均值,各种符号的意义,列举存在的误差及意义,1、全部的30个实验数据之间大小不等，存在误差（变异（总变异）。 2、各个组间存在变异：反映处理因素之间的作用，以及随机误差。 3、各个组内个体间数据不同：反映了观察值的随机误差。 各种误差的表示方法,各种变异的表示方法,SS总 总 MS总,SS组内 组内 MS组内,SS组间 组间 MS组间,三者之间的关系： SS总= SS组内+ SS组间 总= 组内+ 组间,§4.2回归分析方法 (Regression analysis),教学目的：培养学生具有对双变量试验资料进行直线回归分析和直线相关分析的基本能力。 教学要求：要求学生掌握直线回归与相关的意义，直线回归与相关分析的基本步骤，直线回归与相关之间的关系，直线回归与相关的应用。 教学重点：直线回归与相关分析的基本步骤与方法，直线回归系数与直线相关系数的意义，直线回归与相关的应用。 教学难点：直线回归方程的建立方法，直线回归关系显著性、直线相关关系显著性的统计检验方法。,直线回归与相关,变量间的关系:一类是变量间存在着完全确定性的关系，这类变量间的关系称为函数关系。另一类是变量间关系不存在完全的确定性关系，不能用精确的数学公式来表示，这些变量间都存在着十分密切的关系，但不能由一个或几个变量的值精确地求出另一个变量的值。这些变量间的关系称为相关关系，把存在相关关系的变量称为相关变量。 相关变量间的关系:一种是因果关系，即一个变量的变化受另一个或几个变量的影响；另一种是平行关系，即两个以上变量之间共同受到另外因素的影响。,前 言,（1）按影响因素多少分，有单相关和复相关。（2）按相关程度分，有完全相关（即函数关系），不完全相关，不相关（无任何关系）。 （3）按相关方向分，有正相关（两变量值的变化同方向）、负相关（两变量值）的变化异方向（4）按相关形式分：有线性相关和非线性相关。,相关的种类,回归分析是对具有相关关系的两个或两个以上变量之间数量变化的一般关系进行测定，确定一个相应的数学表达式。相关分析和回归分析的关系：联系：两者是研究变量之间的相互关系。 区别： 相关分析确定变量之间的相关和密切程度，而回归分析则反映两变量之间的数量因果关系； 相关分析是前提和基础，回归分析则是继续和补充。,回归分析的意义,变量与变量的关系： 确定性关系,函数关系 U=IR v=gt,变量与变量的关系： 非确定性关系,统计相关 （具有统计规律） Y=f(x1, x2, , xn)+,回归分析方法,回归分析的基本问题,寻求表达Y与x1, x2, , xn的相关关系的经验回归方程，简称回归方程；利用回归方程，在一定可靠度的要求下，预估当自变量x1, x2, , xn取确定值时，随机变量Y的取值，称为预测问题；为使Y在给定的范围内取值，利用回归方程，控制自变量x1, x2, , xn的取值范围，称为控制问题。,