空间数据集成与自动更新关键技术.ppt

程￿￿钢2015年6月19日主￿￿￿要￿￿内￿￿容立项背景1模式匹配2属性匹配3更新方法5实体匹配4地理空间数据库的建设与更新,￿是国家空间数据基础设施建设的重要组成部分,￿其质量和现势性直接影响一切应用系统分析和决策的结果￿￿数据更新仍然存在许多不足:数据源存在不一致、不完整和不准确性的问题;更新的智能化程度不高;更新过程对多种数据源整合、利用程度不高;整个更新过程缺乏系统科学的过程控制一、研究背景数据库更新的基本过程：（1）更新数据库和目标数据库之间执行模式匹配操作,发现其间语义相同或相互的模式元素——要素类,并显式地声明彼此之间的映射关系以确定哪些类型的数据可以用于目标数据库的更新2）确定对应要素属性之间的关系3）实例关系匹配4）利用更新实体的信息更新目标实体一、研究背景模式匹配：在两个或者多个数据间，确定语义相关的要素类，建立映射关系属性匹配：在建立了映射关系的要素类之间，确定属性关系，建立属性的对应关系空间数据自动更新关键技术一、研究背景实体匹配：在建立了模型映射关系的要素类之间，通过语义、几何关系确定实体映射关系更新方法：基利用数据于传感网的井下最佳逃生线路选择、灾点地上下快速对照定位、透水演进动态仿真与决策支持Ø模式匹配Ø指从两个数据库模式中确定语义相关的模式要素类,并声明其具体映射关系的过程。

Ø模式匹配是更新传播的基础性操作,它所取得的匹配结果可被用于指导和简化其他处理操作,保证基础地理数据库中的变化信息被充分准确地提取和集成二、模式匹配Ø（1）基于实例的模式匹配方法Ø如果两个要数类中存在共同的实体,￿这两个要素类就可以认为是相关的,￿然后通过对比分析共同实体的属性值,￿可进一步确定相关的属性Ø为了提高执行效率,￿本文采用抽样统计方式发现两个要素类之间的共同实体二、模式匹配二、模式匹配Ø（1）基于实例的模式匹配方法Ø共同实体的识别Ø在目标数据库要素类中随机抽取一个空间实体(ecn￿),￿并生成其缓冲区(brn);Ø在更新数据库要素类中查询完全被brn包含的候选实体集合(EM)Ø根据一定规则，判断EM￿中是否存在一个实体(emi￿)与ecn是同一实体Ø如此循环,￿直到超过预定的采用样本总量二、模式匹配二、模式匹配Ø（1）基于实例的模式匹配方法Ø采用式(1)来定量地计算两个要素类的相似性:ØSF￿(F1￿,F2)=￿N2/N1ØF1￿为客户数据库中的要素类;ØF2￿为主数据库中的要素类;ØN1￿为进行实体识别时在F1中所选的样本总量;ØN2为进行实体识别时在F2中能发现的对应实体总数。

二、模式匹配Ø（2）基于概念语义的要素类匹配方法Ø概念匹配方法：概念信息量法、语义距离法、基于属性的语义相似度及混合式语义相似度等方法Ø语义距离法基本假设如下：两概念的语义距离越大，其相似度越低，反之相似度越高￿二、模式匹配Ø（2）基于概念语义的要素类匹配方法二、模式匹配地名人文地名自然地名区域地名一级行政区二级行政区居民点地区市盟自治州海域海洋Ø（2）基于概念语义的要素类匹配方法Ø基于语义距离的通名语义相似度算法中，Ø影响语义的主要因子有：Ø概念深度，概念密度，关系类型，关联强度和概念属性等二、模式匹配Ø（2）基于概念语义的要素类匹配方法Ø1）概念深度Ø指概念节点与根节点的最短路径中包括的边数Ø以“IS-A”关系建立的本体概念树中，每一概念是其上位概念的细化，越到下层，概念所指的对象越具体，内涵越丰富同等语义距离下，两个概念节点的深度越大，相似度越高，反之越低；相反，同等语义距离下二者概念层次差越小，二者语义相似度越高，反之相似度越低二、模式匹配Ø（2）基于概念语义的要素类匹配方法Ø1）概念深度Ø概念深度对语义相似度影响因子的计算如式(5)，且满足￿￿￿￿￿￿￿￿￿￿￿￿￿￿。

二、模式匹配Ø（2）基于概念语义的要素类匹配方法Ø2）概念密度Ø本体层次中，局部区域概念密度越大，说明该区域概念细化程度越大，该处概念分类越具体，在其他因素相同的条件下，直接概念子节点间的语义相似度就越高二、模式匹配Ø（2）基于概念语义的要素类匹配方法Ø3）关系强度Ø本体中概念通过各种关系联系在一起，不同关系类型对概念语义相似度的影响也有所不同如上下位的“同义关系”所表征的语义相似度应大于“整体-部分”关系所表征的语义相似度二、模式匹配Ø（3）基于概念语义的要素类匹配方法Ø4）改进的语义相似度算法Øα、β、γ、δ为调节因子，且满足α+β+γ+δ=1由于语义距离在相似度计算中占主导地位，其他因子起辅助作用，所以α的权重相对较大，而β、γ、δ的权重相对较小二、模式匹配Ø属性匹配是数据更新的基础，用于确定更新数据中的哪些字段可以用来目标数据字段更新Ø为了更全面地识别出相关的属性,￿将参与匹配的属性概括为数值型和字符型两种基本类型三、属性匹配Ø（1）数值型属性Ø采用相关分析方法,计算两个数值型属性的统计相关系数,然后取其绝对值作为两个属性的相似值Ø设有不同数据库的属性项X和Y,其对应的数据实例分别为(x1,x2,...,xn)和(y1,y2,...,yn),两者之间的相似性:ØX,Y分别为实例(x1,x2,...,xn)和(y1,y2,...,yn)的平均值。

如rXY越大,说明两个属性X和Y的相似性越大三、属性匹配Ø（2）字符型属性相似性Ø采用基于编辑距离的算法来计算字符型属性之间的相似性编辑距离是指将一个字符串变为另一个字符串所需要的最小编辑操作次数Ø设有两个来自不同数据库的字符型属性项S和T,其对应的数据实例分别为(s1,s2,...,sn)和(t1,t2,...,tn),则属性相似性:三、属性匹配三、属性匹配Ø（2）字符型属性相似性Ø采用基于编辑距离的算法来计算字符型属性之间的相似性编辑距离是指将一个字符串变为另一个字符串所需要的最小编辑操作次数Ø设有两个来自不同数据库的字符型属性项S和T,其对应的数据实例分别为(s1,s2,...,sn)和(t1,t2,...,tn),则属性相似性:三、属性匹配三、属性匹配Ø（1）顾及语义的地名匹配Ø根据规范汉语地名构词特点，依据地名通名与地名类型的关系，建立规范地名通名语义知识库，并将由其提供的地名语义作为地名相似度匹配的重要指标Ø地名匹配判断指标由专名相似度、通名相似度及复合地名相似度三个指标构成Ø通名相似性——语义距离法Ø专名相似性——编辑距离法四、实体匹配Ø（1）顾及语义的地名匹配Ø假设：Ø（1）任何概念与其自身的语义相似度为1。

Ø（2）所有地名通名均为同根概念节点，Sim_sem相似度>0Ø（3）若￿Sim_sem为无穷小，则Plit接近0，专名可靠性最低，两通名表示完全不同的两种地理实体，认为二者不可能为同一地名四、实体匹配Ø（1）顾及语义的地名匹配Ø（4）若￿Sim_sem￿=1，则Plit为1，此时两地名通名为同一概念，只需比较专名的相似度Ø（5）若￿Sim_sem￿=1且￿Sim_lit￿=1￿，则两地名的复合相似度值为1，二者为同一地名Ø（6）若￿Sim_lit=0￿，此时表示个体的标志符完全不同，基本可排除同一地名的可能四、实体匹配Ø（1）顾及语义的地名匹配Ø动态权重设置方法Ø根据sim_sem的大小动态设置专名和通名的权重四、实体匹配Ø（1）顾及语义的地名匹配四、实体匹配Ø（1）顾及语义的地名匹配四、实体匹配地名对地名对概念概念距离距离Dep(con1)Dep(con2)Child(cona)通名通名相似度相似度专名专名相似度相似度复合复合相似度相似度字面字面相似度相似度确山县确山85520.300.500.320.67东风渠公园东风渠65580.470.660.530.60河南理工大学河南大学0---1.000.500.500.67郑州市焦作市0---1.000.000.000.33河南省焦作市45580.650.000.230.00华北水利水电学院华北水利水电大学26630.801.000.960.75部分实验数据及匹配结果Ø（2）实体几何相似度匹配Ø将位置、形状、大小、拓扑等特征作为几何匹配指标。

Ø将选取的位置、形状、大小、拓扑得出的相似度值加权平均后合并得到总相似度Ø位置相似度匹配方法Ø大小相似度匹配方法Ø拓扑相似度匹配方法￿四、实体匹配Ø常用的数据库自动更新方法主要有时间戳法、触发器法、更新日志法、快照差分法等4种Ø时间戳法Ø时间戳是记录数据发生变化具体时间或类型的一种特殊属性字段Ø基于时间戳记录的数据变化时间或类型,可以通过SQL查询语句从数据库中快速检索和提取指定时间或变化类型的变化信息五、更新方法Ø触发器法Ø触发器是存储在数据库中的特殊过程,在特定的预定义事件发生的时候被触发Ø基于触发器的变化提取方法就是在源系统中为每项更新事件预先创建相应的触发器程序,来自动监测数据源的更新变化五、更新方法Ø更新日志法Ø通过分析数据库的更新日志文件来发现数据变化情况Ø日志不会占用太多额外的系统资源Ø但是,一些数据库系统由于不公开其日志文件的格式五、更新方法Ø快照差分法Ø快照是数据库中存储对象在某一时刻的即时映像Ø快照差分法是通过比较前后两个不同时期快照之间的差异,从而发现提取变化数据的一种方式Ø快照差分法是一种通用性较高的变化提取方法,可以在任何数据库甚至是其他结构化和半结构化的数据源上实现。

五、更新方法五、更新方法Ø（1）快照差分法五、更新方法Ø变化提取Ø假设要素类S和T的有效时间分别为tS、tT（￿tS￿>￿tT￿），即它们所反映的是现实世界在tS、tT两个不同时刻的状态的ØT={D,C,U}={D,CA∪CG∪CS∪CM∪CJ,U}ØD=｛d|d是在时段tT~tS内消失的实体｝；ØU=｛u|u是在时段tT~tS内未改变的实体｝；ØC=｛c|c是在时段tT~tS内发生变化的实体｝；五、更新方法Ø变化提取ØS={N,￿C',U}={N,CA￿'￿∪CG'￿∪CS'￿∪CM'￿∪￿CJ',U}ØN=｛n|n是在时段tT~tS内新增的实体｝；ØC'＝｛c'|c'是在时段tT~tS内变化的实体｝￿ØU=｛u|u是在时段tT~tS内未改变的实体｝；ØCA'=f(CA)，CG'=f(CG)，CS'=f(CS)ØCM'=f(CM)，CJ'=f(CJ)五、更新方法Ø变化提取Ø在两个要素类之间进行更新信息提取的主要任务，是确定D，C和N，C'等集合中所应包含的实际元素（实体）Ø该任务可依据两个要素类之间的实体对应关系加以实现，规则如下：Ø规则1：对于T中的实体t，如果在S中没有实体与之对应，则t为消失实体，即：五、更新方法Ø变化提取Ø规则2：对于T中的实体t，如果S中仅有一个实体s与之对应，如果s和t在同一属性a上的值不同，则t为属性变化实体；如果s和t在几何数据上的值不同，则t为几何变化实体。

五、更新方法Ø变化提取Ø规则3：对于T￿中的实体t，如果s￿中有多个实体与之对应，则t￿为分解实体，即：五、更新方法Ø变化提取Ø规则5：对于T￿中的多个实体，如果S￿中有多个实体与之对应，则T￿中这多个实体为聚集实体，即：五、更新方法Ø变化提取Ø规则4：对于T￿中的多个实体，如果S￿中仅有一个实体s￿与之对应，则T￿中这多个实体为合并实体，即：五、更新方法Ø变化提取Ø规则6：对于S中的实体s，如果T中没有实体与之对应，则s为新增实体，即：五、更新方法Ø增量更新Ø由于两个要素类的语义或属性结构存在差异，为保证目标要素类结构和数据的正确性和完整性，可逐个地将源要素类中的变化实体及其相关信息，集成到目标要素类中，这种方式为增量式集成Ø可通过添加、修改、删除等三种动态操作算子加以实现五、更新方法Ø增量更新Ø①Intsert(FeatureClassName，ID)Ø在FeatureClassName要素类中插入标识号为ID实体；Ø②Update(FeatureClassName，ID，FieldName，FieldValue)Ø将要素类FeatureClassName中标号为ID的实体的FieldName属性改为FieldValue；Ø③Delete(FeatureClassName，ID)Ø删除要素类FeatureClassName中标号为ID的实体。

五、更新方法Ø（2）基于ECA的主动更新方法ØECA(Event-Condition-Action)是主动数据库的核心，具有较强的语义表达能力Ø基本思路:若地理事件发生,则查看是否满足规则设定的条件,然后根据条件主动执行规定的更新操作五、更新方法Ø（2）基于ECA的主动更新方法五、更新方法Ø（2）基于ECA的主动更新方法Ø(1)空间数据准备Ø(2)事件检测与存储Ø(3)触发阶段从事件库中读取记录,在ECA规则库中查找该事件所触发的规则,形成一个事件-条件-操作实例Ø(4)条件评估对触发的条件进行评估,若符合,则转(5)Ø(5)同化更新操作执行Ø(6)规则的终止性分析五、更新方法五、更新方法几何事件属性事件Ø（2）基于ECA的主动更新方法Ø实施过程中,一条事件记录触发一条ECA规则,然后进行规则中条件表达式的计算,看最终条件表达式值(Value)与规则中的值是否一致,若一致则主动执行相应的更新操作五、更新方法Ø（2）基于ECA的主动更新方法Ø规则中“条件”包括:Ø①地理要素变化定量描述中各种值需满足的条件;Ø②空间数据的现势性及数据质量的比较条件五、更新方法1.Badard Thierry, On the automatic retrieval of updates in geographic databases based on geographic data matching tools[A], Proceedings of the 19th International Cartographic Conference and the 11th General Assembly of ICA[C], Ottawa, 1999, 47-56.2.Hakima Kadri-Dahmani, Updating Data in GIS: Towards a more generic approach[A], Proceeding of The 21st International Cartographic Conference[C], Beijing, 2001, 1463-1470.3.王育红,陈军.基础地理数据库更新信息传播实施方法研究[J].武汉大学学报·信息科学版,2010,35(9):1116-1121.4.王育红,陈军。

基于实例的GIS数据库模式匹配方法[J].武汉大学学报·信息科学版,2008,33(1):46-50.5.程钢，卢小平.顾及通名语义的汉语地名相似度匹配算法[J].测绘学报,2014,43(4):404-410.6.程钢,梁晓莉.基于本体的地名信息描述方法[J].测绘科学，2014,39(9):19-24.7.安晓亚,孙群,张小朋,陈艳丽.多源地理空间数据同化的主动更新与应用分析[J].地球信息科学学报,2010,12(4):541-548.8.安晓亚,孙群,肖强,李少梅.面向地理空间数据更新的数据同化[J]. 测绘科学技术学报,2010,27(2):153-156.参考文献谢￿￿谢。