机器学习的试验设计初探

简介 两个基于R的模拟例子,机器学习的试验设计初探,China R Conference,China R Conference,机器学习的试验设计初探,简介 两个基于R的模拟例子,1,简介 试验设计简明介绍 试验设计如何应用到机器学习中？ 基于R的模拟例子,2 两个基于R的模拟例子 例1 例2,China R Conference,机器学习的试验设计初探,简介 两个基于R的模拟例子,试验设计简明介绍 试验设计如何应用到机器学习中？ 基于R的模拟例子,什么是试验设计?,R. A. Fisher最初在农田试验方面的工作奠定了因子设计的发 展. 二战后，随着化工行业的发展，试验设计也迅速发展。期间 提出的序贯设计思想用以控制试验数量，以控制成本。 随着回归模型的发展，基于模型的最优设计和响应曲面设计 也逐渐发展起来。 超饱和设计的发展，满足了工业中用少量试验来探索从大量 因子中筛选重要因子的需求。 计算机试验的发展，推动了空间填充设计（包括均匀设计和 拉丁超立方体设计）的发展。,China R Conference,机器学习的试验设计初探,简介 两个基于R的模拟例子,试验设计简明介绍 试验设计如何应用到机器学习中？ 基于R的模拟例子,什么是试验设计? 如下的目的可以通过试验设计达到,比较试验 变量筛选 响应曲面探索 系统优化 系统稳健 More about experimental design, please refer to Wu and Hamada (2009) and Fang, Li and Sudjianto (2006).,China R Conference,机器学习的试验设计初探,简介 两个基于R的模拟例子,试验设计简明介绍 试验设计如何应用到机器学习中？ 基于R的模拟例子,R中比较核心的试验设计的包： Package AlgDesign Package FrF2 Package rsm Package lhs,China R Conference,机器学习的试验设计初探,简介 两个基于R的模拟例子,试验设计简明介绍 试验设计如何应用到机器学习中？ 基于R的模拟例子,把机器学习看成做试验,机器学习中使用的数据，往往不是从试验中得到的。 但是，数据需要分为训练集和检测集。 我们可以利用试验设计来寻找到一个更好的训练集。如果我 们设计的好，那么机器学习也会更有效或者更准确。 另外，在很多实际的情况下，训练数据响应值的获取是要付 出高昂成本的。,China R Conference,机器学习的试验设计初探,简介 两个基于R的模拟例子,试验设计简明介绍 试验设计如何应用到机器学习中？ 基于R的模拟例子,接下来的部分，将使用两个基于R的模拟例子来验证上述的想 法。 为什么用R？ 在R里，我能找到几乎我所需要的全部。 非常感谢COS论坛，让我学到了很多。,China R Conference,机器学习的试验设计初探,简介 两个基于R的模拟例子,例1 例2,Deng et al. (2009) JASA,令X = (X1, . . . , Xp )T 为因子向量. 响应记为Y . Y 服从二项分 布. P(Y = 1|x0) = F (x0) 是x0 点处的Y = 1的概率. 我们可以定 义水平为的分类边界:,(1),l(x ) = x : F (x ) = 我们希望能通过训练数据来估计l .,China R Conference,机器学习的试验设计初探,简介 两个基于R的模拟例子,例1 例2,为简单记, 令p = 2, 定义z = wx1 + (1 w )x2, 其中w 是一个取 值0, 1之间的位置的权重. 此时，有 e(zµ)/,F (x|) = 1 + e(zu)/ ,(2),其中 = (µ, , w )T . 则我们可以推导出水平的分类边界为:,l(x1, x2) = (x1, x2) :,wx1 + (1 w )x2 µ,= log(, 1 ,). (3),China R Conference,机器学习的试验设计初探,简介 两个基于R的模拟例子,例1 例2,1 2,假设训练数据记为(x 1, Y1), . . . , (xn, Yn), 其中xi = (xi , xi ). 我们,给出每一个参数一个先验分布：,0,2,µ,0 0 0,µ N(µ , ), Exp( ), w Beta( , ).,(4),我们便可以推导出后验分布为：,China R Conference,机器学习的试验设计初探,简介 两个基于R的模拟例子,例1 例2,f (|Y ) ,n,rr,i =1,e,i,1,(wx +(1,i,2,w )x µ)/,1 + e,i,(wx +(1,i,1 2,w )x µ)/,Yi,（,1,1 + e,i,1,(wx +(1,i,2,w )x µ)/,1Y,i,(µµ0)2,2,2,µ,0,0 0, 1,×e e w (1 w ),0, 1,.,(5),此时， 便可以通过极大似然方法来估计了, = arg max logf (|Y ),(6),China R Conference,机器学习的试验设计初探,简介 两个基于R的模拟例子,例1 例2,ALSD,在迭代n次后, 我们巳经估计出来了当时的分类边界如下: l,n = wnx1 + (1 wn)x2 = µ + log( 1 ), (7) Tkn = (x 1, Y1), . . . , (xn, Yn). 接下来，我们希望在Tun选择下一 个点放入训练集. 我们从Tun 选出k0 个数据作为候选，这些候选 数据的选取以靠近l,n为标准.,China R Conference,机器学习的试验设计初探,简介 两个基于R的模拟例子,例1 例2,我们将这些候选的数据记为x1, . . . , xk0 . 然后按照如下方法从中 选择一个数据:,1 k,xx ,.,x 0 ,xn+1 = arg max det(I (n, x ),(8),其中I (, x ) 是在点x 处的系数的Fisher信息阵.,China R Conference,机器学习的试验设计初探,简介 两个基于R的模拟例子,例1 例2,模拟例子,exp( zµ ),1+exp( zµ ),数据产生自分布F (x ) = 加上服从N(0, 0.1)的随机误, 差. 产生100个随机数. 我们设定闽值 = 0.7, 则满足F (x ) 的x 被标记为类别1，否则被标记为类别2.,China R Conference,机器学习的试验设计初探,简介 两个基于R的模拟例子,例1 例2,需要的包:numDeriv The complete code will not share here. If you are interested, you can contact me later.,China R Conference,机器学习的试验设计初探,简介 两个基于R的模拟例子,例1 例2,China R Conference,机器学习的试验设计初探,简介 两个基于R的模拟例子,例1 例2,模拟结果,China R Conference,机器学习的试验设计初探,简介 两个基于R的模拟例子,例1 例2,模拟结果,China R Conference,机器学习的试验设计初探,简介 两个基于R的模拟例子,例1 例2,模拟结果,China R Conference,机器学习的试验设计初探,简介 两个基于R的模拟例子,例1 例2,Deng, Lin and Qian (2012),The Lasso (Tibshirani,1996) 因其收缩性，是一种非常流行的变 量选择方法. 考虑如下模型 Y = XT + (9) 其中X = (X1, . . . , Xp )T 是一个p 维随机向量, Y 是响应, 是回 归系数, 服从零均值，方差为2的正态分布的随机误差. 给 定n × p 的设计阵X 和响应值y, Lasso的拉格朗日解可以写成： = arg min (y X)T (y X) + |l (10) 1,China R Conference,机器学习的试验设计初探,简介 两个基于R的模拟例子,例1 例2,变量选择的精确度可以用错选率来衡量, 记为. 令A() = j : j /= 0, j = 1, . . . , p, 则 p × = j : j A() but j ¯A() + j : j A() but j ¯A() (11),China R Conference,机器学习的试验设计初探,简介 两个基于R的模拟例子,例1 例2,之前X 都是简单随机抽样得到的. 分层抽样可以改进估计精度是 众所周知的. McKay et al. (1979) 拉丁超立方体抽样(LHS), 该策 略可以视作在所有变量上同时进行分层抽样.,China R Conference,机器学习的试验设计初探,简介 两个基于R的模拟例子,例1 例2,Owen (1992) showed that when using the LHS for Monte-Carlo integration, the estimator is less variate than the estimator from IID sampling. So we expect that using the LHS for Lasso can improve the solution. Also, when running a variable selection procedure, it is better the variables are less correlated so that the active variables are less correlated to the inactive variables. Orthogonal Latin hypercube design (OLHD) or nearly orthogonal latin hypercube design (NOLHD) would be a good choice. We are also motivated by Fang, Ge and Liu (2002), their result of the connection between discrepancy and E (fNOD ) in supersaturated designs maybe helpful here. Supersaturated designs are usually used for screening designs.,China R Conference,机器学习的试验设计初探,简介 两个基于R的模拟例子,例1 例2,所需包: lars,lhs Gendex software is also needed Also refer to http:/www.math.hkbu.edu.hk/UniformDesign/,China R Conference,机器学习的试验设计初探,简介 两个基于R的模拟例子,例1 例2,模拟,China R Conferen