16种常用的大数据分析报告方法汇总情况.docx

word一、描述统计描述性统计是指运用制表和分类，图形以与计筠概括性数据来描述数据的集中趋势、离散趋势、偏度、峰度1、缺失值填充：常用方法：剔除法、均值法、最小邻居法、比率回归法、决策树法2、正态性检验：很多统计方法都要求数值听从或近似听从正态分布，所以之前需要进展正态性检验常用方法：非参数检验的K-量检验、P-P 图、Q-Q 图、W 检验、动差法二、假设检验1、参数检验参数检验是在总体分布的条件下〔一股要求总体听从正态分布〕对一些主要的参数 (如均值、百分数、方差、相关系数等〕进展的检验 1〕U 验 使用条件：当样本含量n 较大时，样本值符合正态分布2〕T 检验 使用条件：当样本含量n 较小时，样本值符合正态分布A 单样本 t 检验：推断该样原来自的总体均数μ与的某一总体均数μ0 (常为理论值或标准值)有无差异；B 配对样本 t 检验：当总体均数未知时，且两个样本可以配对，同对中的两者在可能会影响处理效果的各种条件方面扱为相像；C 两独立样本 t 检验：无法找到在各方面极为相像的两样本作配比照拟时使用2、非参数检验非参数检验如此不考虑总体分布是否，常常也不是针对总体参数，而是针对总体的某些一股性假设〔如总体分布的位罝是否一样，总体分布是否正态〕进展检验。

适用状况：挨次类型的数据资料，这类数据的分布形态一般是未知的 A 虽然是连续数据，但总体分布形态未知或者非正态；B 体分布虽然正态，数据也是连续类型，但样本容量微小，如 10 以下；主要方法包括：卡方检验、秩和检验、二项检验、游程检验、K-量检验等1 / 7三、信度分析检査测量的可信度，例如调查问卷的真实性分类：1、外在信度：不同时间测量时量表的全都性程度，常用方法重测信度2、内在信度；每个量表是否测量到单一的概念，同时组成两表的内在体项全都性如何，常用方法分半信度四、列联表分析用于分析离散变量或定型变量之间是否存在相关对于二维表，可进展卡方检验，对于三维表，可作Mentel-Hanszel 分层分析列联表分析还包括配对计数资料的卡方检验、行列均为挨次变量的相关检验 五、相关分析争论现象之间是否存在某种依存关系，对具体有依存关系的现象探讨相关方向与相关程度1、单相关： 两个因素之间的相关关系叫单相关，即争论时只涉与一个自变量和一个因变量；2、复相关 ：三个或三个以上因素的相关关系叫复相关，即争论时涉与两个或两个以上的自变量和因变量相关；3、偏相关：在某一现象与多种现象相关的场合，当假定其他变量不变时，其中两个变量之间的相关关系称为偏相关。

六、方差分析使用条件：各样本须是相互独立的随机样本；各样原来自正态分布总体；各总体方差相等分类1、单因素方差分析：一项试验只有一个影响因素，或者存在多个影响因素时，只分析一个因素与响应变量的关系2、多因素有交互方差分析：一顼试验有多个影响因素，分析多个影响因素与响应变量的关系，同时考虑多个影响因素之间的关系3、多因素无交互方差分析：分析多个影响因素与响应变量的关系，但是影响因素之间没有影响关系或无视影响关系4、协方差分祈：传统的方差分析存在明显的弊端，无法掌握分析中存在的某些随机因素，使之影响了分祈结果的准确度协方差分析主要是在排解了协变量的影响后再对修正后的主效应进展方差分析，是将线性回归与方差分析结合起来的一种分析方法，七、回归分析分类：1、一元线性回归分析：只有一个自变量X 与因变量Y 有关，X 与 Y 都必需是连续型变量，因变量 y 或其残差必需听从正态分布2、多元线性回归分析使用条件：分析多个自变量与因变量Y 的关系，X 与 Y 都必需是连续型变量，因变量 y 或其残差必需听从正态分布 1〕变呈筛选方式：选择最优回归方程的变里筛选法包括全横型法〔CP 法〕、逐步回归法，向前引入法和向后剔除法2〕横型诊断方法：A 残差检验： 观测值与估量值的差值要艰从正态分布B 强影响点推断：查找方式一般分为标准误差法、Mahalanobis 距离法C 共线性诊断：· 诊断方式：容忍度、方差扩大因子法(又称膨胀系数VIF)、特征根判定法、条件指针 CI、方差比例· 处理方法：增加样本容量或选取另外的回归如主成分回归、岭回归等3、Logistic 回归分析线性回归模型要求因变量是连续的正态分布变里，且自变量和因变量呈线性关系， 而 Logistic 回归模型对因变量的分布没有要求，一般用于因变量是离散时的状况分类：Logistic 回归模型有条件与非条件之分，条件Logistic 回归模型和非条件Logistic 回归模型的区分在于参数的估量是否用到了条件概率。

4、其他回归方法 非线性回归、有序回归、Probit 回归、加权回归等八、聚类分析样本个体或指标变量按其具有的特性进展分类，查找合理的度量事物相像性的统计量1、性质分类：Q 型聚类分析：对样本进展分类处理，又称样本聚类分祈 使用距离系数作为统计量衡量相像度，如欧式距离、极端距离、确定距离等R 型聚类分析：对指标进展分类处理，又称指标聚类分析 使用相像系数作为统计量衡量相像度，相关系数、列联系数等2、方法分类：1〕系统聚类法： 适用于小样本的样本聚类或指标聚类，一般用系统聚类法来聚类指标，又称分层聚类2〕逐步聚类法 ：适用于大样本的样本聚类3〕其他聚类法 ：两步聚类、K 均值聚类等九、判别分析1、判别分析：依据已把握的一批分类明确的样品建立判别函数，使产生错判的事例最少，进而对给定的一个样品，推断它来自哪个总体2、与聚类分析区分1〕聚类分析可以对样本逬行分类，也可以对指标进展分类；而判别分析只能对样本2〕聚类分析事先不知道事物的类别，也不知道分几类；而判别分析必需事先知道事物的类别，也知道分几类3〕聚类分析不需要分类的历史资料，而直接对样本进展分类；而判别分析需要分类历史资料去建立判别函数，然后才能对样本进展分类3、进展分类 ：1〕Fisher 判别分析法 ：以距离为判别准如此来分类，即样本与哪个类的距离最短就分到哪一类， 适用于两类判别；以概率为判别准如此来分类，即样本属于哪一类的概率最大就分到哪一类，适用于适用于多类判别。

2〕BAYES 判别分析法 ：BAYES 判别分析法比FISHER 判别分析法更加完善和先进，它不仅能解决多类判别分析，而且分析时考虑了数据的分布状态，所以一般较多使用；十、主成分分析将彼此梠关的一组指标变适转化为彼此独立的一组的指标变量，并用其中较少的几个指标变量就能综合反响原多个指标变量中所包含的主要信息 十一、因子分析一种旨在查找隐蔽在多变量数据中、无法直接观看到却影响或支配可测变量的潜在因子、并估量潜在因子对可测变量的影响程度以与潜在因子之间的相关性的一种多元统计分析方法与主成分分析比较：一样：都能够起到済理多个原始变量内在构造关系的作用不同：主成分分析重在综合原始变适的信息.而因子分析重在解释原始变量间的关系，是比主成分分析更深入的一种多元统计方法用途：1〕削减分析变量个数2〕通过对变量间相关关系探测，将原始变量进展分类十二、时间序列分析动态数据处理的统计方法，争论随机数据序列所遵从的统计规律，以用于解决实际 问题；时间序列通常由4 种要素组成：趋势、季节变动、循环波动和不规如此波动主要方法：移动平均滤波与指数平滑法、ARIMA 横型、量ARIMA 横型、ARIMAX 模型、向呈自回归横型、ARCH 族模型十三、生存分析用来争论生存时间的分布规律以与生存时间和相关因索之间关系的一种统计分析方法1、包含内容：1〕描述生存过程，即争论生存时间的分布规律2〕比较生存过程，即争论两组或多组生存时间的分布规律，并进展比较3〕分析危急因素，即争论危急因素对生存过程的影响4〕建立数学模型，马上生存时间与相关危急因素的依存关系用一个数学式子表示出来。

2、方法：1〕统计描述：包括求生存时间的分位数、中数生存期、平均数、生存函数的估量、推断生存时间的图示法，不对所分析的数据作出任何统计推断结论2〕非参数检验：检验分组变量各水平所对应的生存曲线是否全都，对生存时间的分布没有要求，并且检验危急因素对生存时间的影响A 乘乐观限法〔PL 法〕B 寿命表法(LT 法)3〕半参数横型回归分析：在特定的假设之下，建立生存时间随多个危急因素变化的回归方程，这种方法的代表是Cox 比例风险回归分析法4〕参数模型回归分析：生存时间听从特定的参数横型时，拟合相应的参数模型，更准确地分析确定变量之间的变化规律十四、典型相关分析相关分析一般分析两个变里之间的关系，而典型相关分析是分析两组变里〔如 3 个学术力量指标与 5 个在校成绩表现指标〕之间相关性的一种统计分析方法典型相关分析的根本思想和主成分分析的根本思想相像，它将一组变量与另一组变量之间单变量的多重线性相关性争论转化为对少数几对综合变量之间的简洁线性相关性的争论，并且这少数几对变量所包含的线性相关性的信息几乎掩盖了原变量组所包含的全部相应信息十五、R0C 分析R0C 曲线是依据一系列不同的二分类方式(分界值或打算阈〕.以真阳性率〔灵敏度) 为纵坐标，假阳性率〔1-特异度)为横坐标绘制的曲线用途：1、R0C 曲线能很简洁地査出任意界限值时的对疾病的识别力量用途 ；2、选择最优的诊断界限值。

R0C 曲线越靠近左上角，试验的准确性就越高；3、两种或两种以上不同诊断试验对疾病识别力量的比较，一股用 R0C 曲线下面积反映诊断系统的准确性十六、其他分析方法多重响应分析、距离分祈、工程分祈、对应分祈、决策树分析、神经网络、系统方程、蒙特卡洛模拟等。