数据分析处理方法.docx

数据分析方法汇总一，描述统计描述性统计是指运用制表和分类，图形以及计筠概括性数据来 描述数据的集中趋势、离散趋势、偏度、峰度1、 缺失值填充：常用方法：剔除法、均值法、最小邻居法、比率\ 回归法、决策树法2、 正态性检验：很多统计方法都要求数值服从或近似服从正态分布, 所以之前需要进行正态性检验常用方法：非参数检验的K-量检验、 P-P图、Q-Q图、W检验、动差法二、假设检验1、 参数检验 参数检验是在已知总体分布的条件下（一股要求总体 服从正态分布）对一些主要的参数（如均值、百分数、方差、相关系 数等）进行的检验1）U验 使用条件：当样本含量n较大时， 样本值符合正态分布2）T检验 使用条件：当样本含量n较小时， 样本值符合正态分布A单样本t检验：推断该样本来自的总体均 数p与已知的某一总体均数|J 0 （常为理论值或标准值）有无差别；B配对样本t检验：当总体均数未知时，且两个样本可以配对，同 对中的两者在可能会影响处理效果的各种条件方面扱为相似；C两 独立样本t检验：无法找到在各方面极为相似的两样本作配对比较时 使用2、 非参数检验非参数检验则不考虑总体分布是否已知，常常也不是 针对总体参数，而是针对总体的某些一股性假设（如总体分布的位罝 是否相同，总体分布是否正态）进行检验。

适用情况：顺序类型的 数据资料，这类数据的分布形态一般是未知的A虽然是连续数据, 但总体分布形态未知或者非正态；B体分布虽然正态，数据也是连 续类型，但样本容量极小，如10以下；主要方法包括：卡方检验、 秩和检验、二项检验、游程检验、K-量检验等三、信度分析检査测量的可信度，例如调查问卷的真实性分类：1、 外在信度：不同时间测量时量表的一致性程度，常用方法重测 信度2、 内在信度；每个量表是否测量到单一的概念，同时组成两表的 内在体项一致性如何，常用方法分半信度四、 列联表分析用于分析离散变量或定型变量之间是否存在相关对于二维 表，可进行卡方检验，对于三维表，可作Mentel-Hanszel分层分析 列联表分析还包括配对计数资料的卡方检验、行列均为顺序变量的相 关检验五、 相关分析研究现象之间是否存在某种依存关系，对具体有依存关系的现 象探讨相关方向及相关程度1、单相关：两个因素之间的相关关系叫单相关，即研究时只涉及一 个自变量和一个因变量；2、 复相关：三个或三个以上因素的相关关系叫复相关，即研究时涉 及两个或两个以上的自变量和因变量相关；3、 偏相关：在某一现象与多种现象相关的场合，当假定其他变量不 变时，其中两个变量之间的相关关系称为偏相关。

六、 方差分析 使用条件：各样本须是相互独立的随机样本；各样本 来自正态分布总体；各总体方差相等分类1、 单因素方差分析：一项试验只有一个影响因素，或者存在多个影 响因素时，只分析一个因素与响应变量的关系2、 多因素有交互方差分析：一顼实验有多个影响因素，分析多个影 响因素与响应变量的关系，同时考虑多个影响因素之间的关系3、多因素无交互方差分析：分析多个影响因素与响应变量的关系， 但是影响因素之间没有影响关系或忽略影响关系4、 协方差分祈：传统的方差分析存在明显的弊端，无法控制分析中 存在的某些随机因素，使之影响了分祈结果的准确度协方差分析主 要是在排除了协变量的影响后再对修正后的主效应进彳丁方差分析，是 将线性回归与方差分析结合起来的一种分析方法七、 回归分析分类：1、一元线性回归分析：只有一个自变量X与因变量Y有关，X与Y 都必须是连续型变量，因变量y或其残差必须服从正态分布2、多元线性回归分析 使用条件：分析多个自变量与因变量Y的关 系，X与Y都必须是连续型变量，因变量y或其残差必须服从正态分 布1）变呈筛选方式：选择最优回归方程的变里筛选法包括全横型法（CP法）、逐步回归法，向前引入法和向后剔除法2）横型诊断 方法：A残差检验：观测值与估计值的差值要艰从正态分布B强 影响点判断：寻找方式一般分为标准误差法、Mahalanobis距离法C 共线性诊断：•诊断方式：容忍度、方差扩大因子法（又称膨胀系 数VIF）、特征根判定法、条件指针CI、方差比例•处理方法：增 加样本容量或选取另外的回归如主成分回归、岭回归等3、Logistic 回归分析 线性回归模型要求因变量是连续的正态分布变里，且自变量和因变量呈线性关系，而Logistic回归模型对因变量的分布 没有要求，一般用于因变量是离散时的情况分类：Logistic回归模型有条件与非条件之分，条件Logistic回归模型和 非条件Logistic回归模型的区别在于参数的估计是否用到了条件概 率。

4、其他回归方法非线性回归、有序回归、Prob it回归、加权回归 等八、聚类分析 样本个体或指标变量按其具有的特性进行分类，寻找 合理的度量事物相似性的统计量1、性质分类：Q型聚类分析：对样本进行分类处理，又称样本聚 类分祈 使用距离系数作为统计量衡量相似度，如欧式距离、极端距 离、绝对距离等R型聚类分析：对指标进行分类处理，又称指标聚 类分析 使用相似系数作为统计量衡量相似度，相关系数、列联系数2、方法分类：1）系统聚类法：适用于小样本的样本聚类或指标 聚类，一般用系统聚类法来聚类指标，又称分层聚类2）逐步聚类 法：适用于大样本的样本聚类3）其他聚类法：两步聚类、K均值 聚类等九、判别分析1、判别分析：根据已掌握的一批分类明确的样品建立判别函数，使 产生错判的事例最少，进而对给定的一个新样品，判断它来自哪个总 体2、 与聚类分析区别1）聚类分析可以对样本逬行分类，也可以对指 标进行分类；而判别分析只能对样本2）聚类分析事先不知道事物的 类别，也不知道分几类；而判别分析必须事先知道事物的类别，也知 道分几类3）聚类分析不需要分类的历史资料，而直接对样本进行 分类；而判别分析需要分类历史资料去建立判别函数，然后才能对样 本进行分类3、 进行分类：1）Fisher判别分析法： 以距离为判别准则来 分类，即样本与哪个类的距离最短就分到哪一类，适用于两类判别； 以概率为判别准则来分类，即样本属于哪一类的概率最大就分到哪一 类，适用于适用于多类判别。

2）BAYES判别分析法：BAYES判 别分析法比FISHER判别分析法更加完善和先进，它不仅能解决多类 判别分析，而且分析时考虑了数据的分布状态，所以一般较多使用； 十、主成分分析将彼此梠关的一组指标变适转化为彼此独立的一组 新的指标变量，并用其中较少的几个新指标变量就能综合反应原多个 指标变量中所包含的主要信息十一、因子分析一种旨在寻找隐藏在多变量数据中、无法直接观察到却影响或支配可 测变量的潜在因子、并估计潜在因子对可测变量的影响程度以及潜在 因子之间的相关性的一种多元统计分析方法与主成分分析比较： 相同：都能够起到済理多个原始变量内在结构关系的作用 不同：主 成分分析重在综合原始变适的信息.而因子分析重在解释原始变量间 的关系，是比主成分分析更深入的一种多元统计方法用途：1）减 少分析变量个数2）通过对变量间相关关系探测，将原始变量进行 分类 十二、时间序列分析 动态数据处理的统计方法，研究随机数 据序列所遵从的统计规律，以用于解决实际问题；时间序列通常由4 种要素组成：趋势、季节变动、循环波动和不规则波动主要方法： 移动平均滤波与指数平滑法、ARIMA横型、量ARIMA横型、ARIMAX模 型、向呈自回归横型、ARCH族模型 十三、生存分析用来研究生存时间的分布规律以及生存时间和相关因索之间关系 的一种统计分析方法1、包含内容：1）描述生存过程，即研究生存时间的分布规律2）比较生存过程，即研究两组或多组生存时间的分布规律，并进行 比较3）分析危险因素，即研究危险因素对生存过程的影响4）建 立数学模型，即将生存时间与相关危险因素的依存关系用一个数学式 子表示出来。

2、方法：1）统计描述：包括求生存时间的分位数、中数生存期、 平均数、生存函数的估计、判断生存时间的图示法，不对所分析的数 据作出任何统计推断结论2）非参数检验：检验分组变量各水平所 对应的生存曲线是否一致，对生存时间的分布没有要求，并且检验危 险因素对生存时间的影响A乘积极限法（PL法）B寿命表法（LT 法）3）半参数横型回归分析：在特定的假设之下，建立生存时间随 多个危险因素变化的回归方程，这种方法的代表是Cox比例风险回归 分析法4）参数模型回归分析：已知生存时间服从特定的参数横型时， 拟合相应的参数模型，更准确地分析确定变量之间的变化规律十四、典型相关分析 相关分析一般分析两个变里之间的关系，而 典型相关分析是分析两组变里（如3个学术能力指标与5个在校成绩 表现指标）之间相关性的一种统计分析方法典型相关分析的基本思想和主成分分析的基本思想相似，它将一组变 量与另一组变量之间单变量的多重线性相关性研究转化为对少数几 对综合变量之间的简单线性相关性的研究，并且这少数几对变量所包 含的线性相关性的信息几乎覆盖了原变量组所包含的全部相应信息 十五、R0C分析R0C曲线是根据一系列不同的二分类方式（分界值或 决定阈）.以真阳性率（灵敏度）为纵坐标，假阳性率（1-特异度）为 横坐标绘制的曲线用途：1、R0C曲线能很容易地査出任意界限值时的对疾病的识别能力用 途；2、选择最佳的诊断界限值。

R0C曲线越靠近左上角，试验的准确性就越咼；3、两种或两种以上不同诊断试验对疾病识别能力的比较，一股用R0C曲线下面积反映诊断系统的准确性十六、其他分析方法 多重响应分析、距离分祈、项目分祈、对应分祈、决策树分析、神经网络、系统方程、蒙特卡洛模拟等。