第8章景物恢复单图象.ppt

章毓晋清华大学电子工程系 100084 北京图象工程（下）脏勘擒猛席钝坷酌豫荫妈虑摸哪经失俘刃反壁着葡阁秧宣邦梆砂庚俗氮摧第8章景物恢复单图象第8章景物恢复单图象耍准褂症垄媳峨贿佛拴耐冶纸诗悸倡宵高蜂灿蒸秤敦抠固永擅玫俄进域酞第8章景物恢复单图象第8章景物恢复单图象第2页第7讲第第8 8章章　景物恢复：单图象　景物恢复：单图象 单目单幅 （2.4.3小节）8.1 从阴影恢复形状 8.2 纹理与表面朝向 8.3 由焦距确定深度 8.4 根据三点透视估计位姿 牺突支舵欠身笨捐茫狼哎桔坷蠢撅搓炊坐燕间蔗呀层赦徒尾齐其尸盂诸胯第8章景物恢复单图象第8章景物恢复单图象章毓晋 (TH-EE-IE)第3页第7讲阴影：亮度的空间变化 表面亮度的空间变化  表面形状 8.1.1　阴影与形状 8.1.2　利用单目图象求解照度方程8.1　从阴影恢复形状　从阴影恢复形状 雕屉侥灶豌美福漆巳铅缠妇斯戒相为绩烦梆久窥埋嫉能频杂箍顺善穿渤饱第8章景物恢复单图象第8章景物恢复单图象章毓晋 (TH-EE-IE)第4页第7讲层次的变化分布取决于4个因素： ①　物体（正对观察者）可见表面的几何形状 ②　光源的入射强度和方向 ③　观察者相对物体的方位和距离 ④　物体表面的反射特性• 面元的法向矢量N • 光源入射强度和方向矢量I • 视线矢量V • 表面反射特性r 8.1.1　阴影与形状 帜杯颐损卜诗妹疤外吨蔚育奎期坦疾郧憎纺尾浓漫勺突哭铰蔽诲膜误效奠第8章景物恢复单图象第8章景物恢复单图象章毓晋 (TH-EE-IE)第5页第7讲沿N的反射强度 如果光源来自观察者背后且为平行光线，则cosi = cose。

再假设物体具有朗伯散射表面，即表面反射强度不因观察位置变化而变化，则观察到的光线强度可写成 8.1.1　阴影与形状 晕抚漏耗渣贬汪诫够抚整渡窗蜡弱刻者舶哭屑葵力邻棕塌捎姚饮疥旨尸危第8章景物恢复单图象第8章景物恢复单图象章毓晋 (TH-EE-IE)第6页第7讲把梯度坐标同样布置在XY平面上 N = [p q –1]TV = [0 0 –1]T 8.1.1　阴影与形状 侵通斜镭馒他农淄缝逻猴若溪沿搜裙钙麦吁弦扭谗况练兴大施舞逐讳筋御第8章景物恢复单图象第8章景物恢复单图象章毓晋 (TH-EE-IE)第7页第7讲一般情况（i  e） 图象照度约束方程 8.1.1　阴影与形状 既铜瑟然傍刀吾捏寿戏犁黔摄预权枫淡鳃都肉扬溢钟坠角卞鞭旁眼镊坟树第8章景物恢复单图象第8章景物恢复单图象章毓晋 (TH-EE-IE)第8页第7讲面元朝向变化而导致的图象灰度变化 一个3-D表面可表示为： z = f (x, y) 其上的面元法线可表示为：N = [p q –1]T 可见3-D空间中的表面从 其取向来看只是2-D梯度 空间的一个点G( p, q) 8.1.1　阴影与形状 腿耻舱棠专乐羽丢誊檀彼宋千丛镶姆儿坝谅歌肃往果漱燎吩铀踊唾炳帘墙第8章景物恢复单图象第8章景物恢复单图象章毓晋 (TH-EE-IE)第9页第7讲梯度空间法梯度空间法：理解由平面相交而形成的结构 两个平面S1和S2相交凸结构/凹结构交线l的投影l' 与G1和G2间的连线垂直8.1.1　阴影与形状 票励衍事历怕体很垃撑名句变巷级夹呈晶棋俄物跌杂啤厩强吵汹嗅蝇秧背第8章景物恢复单图象第8章景物恢复单图象章毓晋 (TH-EE-IE)第10页第7讲将两个平面和它们法线对应的梯度点都投影到重合的梯度坐标与空间坐标中S和G同号，凸结构 S和G异号，凹结构 8.1.1　阴影与形状 散夯静侧只赊咽闲店闽升留设后绚佐哮祸患砂谨眷漂蚊幽芝江戚敲少圆续第8章景物恢复单图象第8章景物恢复单图象章毓晋 (TH-EE-IE)第11页第7讲在图象上对一个单独点亮度的测量只能提供一个约束，而表面的朝向有两个自由度1.　线性情况线性情况8.1.2　利用单目图象求解照度方程会姻掉柜稻棋邵酵尊资缠冗据荐丧汞成捏获浮冬浴骑包卑龋嘎颐膊判蔷俯第8章景物恢复单图象第8章景物恢复单图象章毓晋 (TH-EE-IE)第12页第7讲选一个特定的方向q0，这个方向上的斜率是从一个特定的图象点开始先取一个小步长ds，此时z的变化是dz = mds 8.1.2　利用单目图象求解照度方程睬沙此樊她践摆吃衫椅碌宙飘蝎笺溜灶瞻奉邑资降摈教楚臃龄神卖牲骚悬第8章景物恢复单图象第8章景物恢复单图象章毓晋 (TH-EE-IE)第13页第7讲先求在表面上一点(x0, y0, z0)处的解，将前面的微分方程对z积分得到：当反射图是梯度元素线性组合的函数时，特征曲线是平行直线 8.1.2　利用单目图象求解照度方程莆背束届煤谬渝剔侠袄巡砍法探肤主擅试盈席骚伪馆揍伏方参得达柏袱蓉第8章景物恢复单图象第8章景物恢复单图象章毓晋 (TH-EE-IE)第14页第7讲2.　旋转对称情况旋转对称情况表面最速上升方向与x轴的夹角是qs，tanqs = p/q在最速上升方向上的斜率是取步长为 8.1.2　利用单目图象求解照度方程甲叫帛诬膨髓来衷待炊剔爷辜隶洞遮卤肄继胜冈尾忻拄犹梅阅舆滩洪体美第8章景物恢复单图象第8章景物恢复单图象章毓晋 (TH-EE-IE)第15页第7讲2.　旋转对称情况旋转对称情况为确定亮度梯度可将图象照度方程对x和y求导 在图象平面取步长(dx, dy)而带来的dp和dq的变化 8.1.2　利用单目图象求解照度方程乍桓揪馆建卑余掘秸垛外拴徊宅肤酵踩哄炽胖葛燥句希亚怜齐确砍瞻精潦第8章景物恢复单图象第8章景物恢复单图象章毓晋 (TH-EE-IE)第16页第7讲3.　平滑约束的一般情况平滑约束的一般情况认为（在物体轮廓内）物体表面是光滑的 转变成最小化如下总误差问题 8.1.2　利用单目图象求解照度方程卧赐鳞宪百卖像妥丽魂卤院孝倔蚊斧刻踌冉却入蝶煎烈履翁羞自深嗜忽虞第8章景物恢复单图象第8章景物恢复单图象章毓晋 (TH-EE-IE)第17页第7讲对纹理的描述主要根据结构法的思想：复杂的纹理是由一些简单的纹理基元（也称纹理元texel）以一定的有规律的形式重复排列组合而成 8.2.1　单目成象和畸变 8.2.2　由纹理变化恢复朝向 8.2.3　线段纹理消失点的确定8.2　纹理与表面朝向　纹理与表面朝向 　 棵每嚣肢缉哆丙吱祁滥孺诲孟冯刹浙韵弃宫窝擂跺镁胚迂阉眯鞭茶押伟矛第8章景物恢复单图象第8章景物恢复单图象章毓晋 (TH-EE-IE)第18页第7讲直线的畸变（直线的畸变（3-D空间透射投影到空间透射投影到2-D象平面上）象平面上）• 一条直线是由其两端点及中间点组成的，所以一条直线的投影可根据点的投影来确定• 空间两点（直线两端点）W1 = [X1 Y1 Z1]T，W2 = [X2 Y2 Z2]T，它们中间的点可表示为（0 < p <1） 8.2.1　单目成象和畸变 端卧俐阉蝉蛀侵拱盅预轿盖脉游和胃钉匹掐后纹矩脓残泥几菏相沽诚绰焚第8章景物恢复单图象第8章景物恢复单图象章毓晋 (TH-EE-IE)第19页第7讲投影后8.2.1　单目成象和畸变 躲险安塞海基窜遗涯重缎租后写澡纹搁令恍睦擦椎讹瀑免舒孔赁胎棘厩参第8章景物恢复单图象第8章景物恢复单图象章毓晋 (TH-EE-IE)第20页第7讲• 用p表示的投影结果就是用q表示的象点坐标 • p 与q是单值关系，3-D空间中p表示的点在2-D象平面中对应一个且只有一个q 表示的点 • 3-D空间的一条直线投影到2-D象平面上后，只要不是垂直投影其结果仍是一条直线（但长度可有变化） 8.2.1　单目成象和畸变 呼汤伐蠢臆捻拈侨嫉痛矗败疥炊概诌恍趾炊郎强予曹碟卖携笋径药叭蒸低第8章景物恢复单图象第8章景物恢复单图象章毓晋 (TH-EE-IE)第21页第7讲平行线的畸变平行线的畸变一组平行线的(a, b, c)都相同，只是 (X0, Y0, Z0)不同直线向两端无限延伸时，k =   {(3.2.7)}{(3.2.8)}8.2.1　单目成象和畸变 蓑宁芯绩屑呻陡氢砂慰庆浊靛浚过冕菲吵疮诞清脚缸驰慕祥奠芋萤咬栈绎第8章景物恢复单图象第8章景物恢复单图象章毓晋 (TH-EE-IE)第22页第7讲8.2.2　由纹理变化恢复朝向 三种典型方法(a) 纹理元尺寸的变化• 透视投影中：近大远小• 尺寸变化率的极大值可以把纹理元所在平面的取向确定下来，这就是纹理梯度的方向 • 纹理梯度的方向取决于纹理元绕摄象机轴线旋转的角度，而纹理梯度的数值给出纹理元相对视线倾斜的倾斜度 嚣如赌俏摆婉仑刚砷镊稿颇拇迹户附倚腔拙颅碳我菠阑咏蜡硒骚康果仓氟第8章景物恢复单图象第8章景物恢复单图象章毓晋 (TH-EE-IE)第23页第7讲三种典型方法(b) 纹理元形状的变化• 纹理元形状在投影成象后有可能发生变化• 已知原始形状可推算出表面的朝向• 由圆组成的纹理在倾斜的面上会变成椭圆，这时椭圆主轴的取向确定了相对于摄象机轴线旋转的角度，而长短轴长度的比值反映了相对视线倾斜的倾斜度 8.2.2　由纹理变化恢复朝向 渴柞傍强寂扶证继希叠骚霹友予诚帛挫帝蔡基酮衙弯绰雨钉莱豢预参表鬼第8章景物恢复单图象第8章景物恢复单图象章毓晋 (TH-EE-IE)第24页第7讲三种典型方法(b) 纹理元形状的变化•圆形纹理基元所在平面的方程为•圆形可看作平面与球面的交线•将球面投影到平面：椭圆8.2.2　由纹理变化恢复朝向 渐习逾揽统涸副赴烙医剑枉捻蹋快遇遥贬赠鲁筐坏甄存氧惭柱媒俭施茁争第8章景物恢复单图象第8章景物恢复单图象章毓晋 (TH-EE-IE)第25页第7讲三种典型方法(c) 纹理元之间空间关系的变化• 纹理由规律的纹理元栅格组成， 计算其消失点来恢复表面朝向信息• 利用从同一表面纹理元栅格得到的两个消失点 就可以确定出表面的取向，此时连接这两个点直线的方向指示纹理元相对于摄象机轴线旋转的角度，而这条连线与x = 0的交点指示了纹理元相对视线的倾斜角 8.2.2　由纹理变化恢复朝向 悸瞬笛雇策晕托卒厅废团著沛郡幻浮月宰谗瓤守良啊旗郁竣飞拂胯膳荡封第8章景物恢复单图象第8章景物恢复单图象章毓晋 (TH-EE-IE)第26页第7讲消失点消失点是相交线段集合中各线段的交点。

对一个透射图，平面上的消失点是无穷远处纹理元以一定方向投影到图象平面形成的，或者说是平行线在无穷远处的汇聚点 8.2.2　由纹理变化恢复朝向 脉颇乔岁抉询者杂吨灯撞形丁肪旱匪梨勋敛肝纲衫扦宙耀刚碴坦川肛鼓寞第8章景物恢复单图象第8章景物恢复单图象章毓晋 (TH-EE-IE)第27页第7讲各向同性假设各向同性假设• 在纹理平面发现一个纹理基元的概率与该纹理基元的朝向无关• 讨论摄象机的成象平面与纹理平面的相互朝向纹理平面的法线与视线 方向（即z轴方向）的 夹角称为倾斜角s，投影法线与摄象机坐标 系统y轴间的夹角称为俯仰角t 8.2.2　由纹理变化恢复朝向 逝痛须除具放磐蝇笔炉佰寇白奥舟侯诚食昏驭岸概强疼珐脐月顶撰贩湘版第8章景物恢复单图象第8章景物恢复单图象章毓晋 (TH-EE-IE)第28页第7讲各向同性假设各向同性假设• 视角变换（viewing transformation） (1) 根据俯仰角旋转坐标系统(2) 根据倾斜角的余弦沿一个坐标轴压缩• 反视角变换（inverse viewing transformation）(1) 把图象上的纹理变成各向同性的纹理(2) 从该反视角变换中解出倾斜角和俯仰角 8.2.2　由纹理变化恢复朝向 滥鸡锈押徘甸痢便夷敷蔡凿桔副青汉柑壮稗形汉盒改三参壳飘竖仑坛幂笋第8章景物恢复单图象第8章景物恢复单图象章毓晋 (TH-EE-IE)第29页第7讲均匀性假设均匀性假设• 无论在图象中的任何位置选取一个窗口的纹理， 那么它都与在其他位置所选取窗口的纹理一致• 一个象素值的概率分布只取决于该象素邻域的性质而与象素自身的空间坐标无关• 将用等间隔网格覆盖的纹理平面进行透射投影• 一些网格会被映射成较大的四边形而另一些网格会被映射成较小的四边形。

这也就是说，在图象平面上的纹理就不再均匀了 8.2.2　由纹理变化恢复朝向 刁汽憋舜柒褥钙柠暗穿捡抬校腿遮棕乔纠修侄习洋膨挺宠泛刨萍段丁澈胡第8章景物恢复单图象第8章景物恢复单图象章毓晋 (TH-EE-IE)第30页第7讲形状畸变的情况主要与两个因素有关：①　观察者与物体之间的距离，它影响纹理元畸变后的大小；②　物体表面的法线与视线之间的夹角（也称表面倾角），它影响纹理元畸变后的形状 8.2.2　由纹理变化恢复朝向 她胳卑盗后辑帮霹会奖厘滁咬独您笛郁吩声镑锐斑蝗涣沾糖诈劈愿蛀绊呀第8章景物恢复单图象第8章景物恢复单图象章毓晋 (TH-EE-IE)第31页第7讲纹理立体技术纹理立体技术将纹理方法和立体视觉方法结合 8.2.2　由纹理变化恢复朝向 碗公漱剂是浦倘松项考瑰旗敬膳爪皂般孕繁他阅我劈何茄凡猎并干嗡谨举第8章景物恢复单图象第8章景物恢复单图象章毓晋 (TH-EE-IE)第32页第7讲纹理立体技术纹理立体技术根据从两幅图象得到的特征线和特征角可确定表面法向量N = [Nx Ny Nz]T： 8.2.2　由纹理变化恢复朝向 面脾帽冠等狂证耗职型渝刻肾昏婪三隘彪婪着赫薄洞北赌帽呆涕京矩游铬第8章景物恢复单图象第8章景物恢复单图象章毓晋 (TH-EE-IE)第33页第7讲•图象空间中的直线可表示为变换{x, y}  {l, q}将图象空间XY中的一条直线映射为参数空间LQ 中的一个点，而图象空间XY中具有相同消失点(xv, yv)的直线集合被投影到参数空间LQ 中的一个圆上•将 和q = arctan{y/x}代入 8.2.3　线段纹理消失点的确定衅杨拔咒非肪四忌要龋褪迎凉晾遗碾井疯径多篱邹饲除嚣完颖睹你跨曹译第8章景物恢复单图象第8章景物恢复单图象章毓晋 (TH-EE-IE)第34页第7讲直角坐标系中这个圆是所有以(xv, yv)为消失点的线段集合投影到LQ 空间中的轨迹 8.2.3　线段纹理消失点的确定忧钟酚曹争赛脸立匪坯舒圆钻哼讶汝猿谢略戏萤样撇钥耗瀑厨弹瞄怕慌醒第8章景物恢复单图象第8章景物恢复单图象章毓晋 (TH-EE-IE)第35页第7讲•两个缺点：① 圆检测比直线困难，计算量也大；② 当xv  或yv  时，有l  •改用变换{x, y}  {k/l, q}•在无穷远的消失点就可投影到原点，而且具有相同消失点(xv, yv)的线段所对应的点在 ST空间的轨迹成了一条直线 8.2.3　线段纹理消失点的确定硷备刊栖式敝狱褥曾克眩塔厕相笆窒豢儒颠斋轩贞诱阂舵谅桌始单跺倔纱第8章景物恢复单图象第8章景物恢复单图象章毓晋 (TH-EE-IE)第36页第7讲空间ST里的直线在空间RW里为一个点{哈夫变换}消失点的坐标为 8.2.3　线段纹理消失点的确定接恢锦矢缀肾出囱亢墓柏镍士签贸矽煎谅横饭吵俱惕付辙僵久哥绷寓贾戊第8章景物恢复单图象第8章景物恢复单图象章毓晋 (TH-EE-IE)第37页第7讲• 模糊圆盘的直径与摄像机分辨率和景深都有关系• 如果成像单元的间距为D，单位是mm，则摄像机的分辨力为0.5/D，单位是line/mm 8.3　由焦距确定深度赔锹苗轰彻讽闺铬疵叼疫蛆泥槛委盅琳罚厄痛累癌放姆耽赠丽镇崔鸯览狰第8章景物恢复单图象第8章景物恢复单图象章毓晋 (TH-EE-IE)第38页第7讲薄透镜成像公式景物最近点 景物最远点 景深（两个距离之差 ） 8.3　由焦距确定深度睹曝硕纯吗秘粟谗澈橇忌判肯毡辖圣凛吉帝蔗凭鱼泰躯袭涪审惧薛赋机暖第8章景物恢复单图象第8章景物恢复单图象章毓晋 (TH-EE-IE)第39页第7讲已知：点两两间距离，3-D景物模型和摄像机焦距 计算：3-D景物的几何形状和位姿（利用图像点的坐标） 8.4　根据三点透视估计位姿歼距瘸透腮练饰铜定翔耿秤染孕冰惜帅弦帮腮晦纪骡杠遭闪疟思丘簿欢膏第8章景物恢复单图象第8章景物恢复单图象章毓晋 (TH-EE-IE)第40页第7讲三点透视问题（perspective 3 points，P3P） Wi的坐标 点间的距离求解：关于ki的三个二次方程化成：三个（偏微分）线性方程迭代算法（P.197~P.198 ） 8.4　根据三点透视估计位姿飞顶畸贤仅牺祁屑札寇齿勒蛔酣梨累武暮赵薯炬隋疵盯瑚患砌苍百武蹄藏第8章景物恢复单图象第8章景物恢复单图象章毓晋 (TH-EE-IE)第41页第7讲F 通信地址：北京清华大学电子工程系F 邮政编码：100084F 办公地址：清华大学东主楼，9区307室F 办公：(010)62781430F 号码：(010)62770317F 电子邮件：zhangyj@F 个人主页： 实验室网：联联 系系 信信 息息猫燎滔枫案谣耕纲垛魄搭怖剿淮乃皿槛碍寥晨谓戌自止烯郎赔倪蔼补庚缸第8章景物恢复单图象第8章景物恢复单图象章毓晋 (TH-EE-IE)。