元宇宙下的智慧博物馆研究进展.docx

    元宇宙下的智慧博物馆研究进展    耿国华，贺小伟，王美丽，袁庆曙，尹国军，许阳，潘志庚1.西北大学信息科学与技术学院，西安 710127；2.西安市分子影像与智能感知重点实验室，西安 710127；3.西北农林科技大学信息工程学院，杨凌 712100；4.杭州师范大学信息科学与工程学院，杭州 311121；5.淮阴工学院设计艺术学院，淮安 223003；6.南京信息工程大学人工智能学院，南京 2100440 引言中华民族拥有五千年的悠久历史，积累了无数的文明财富中华优秀传统文化是中华文明成果凝聚成的精髓，是民族历史上道德传承、文化思想和精神观念的总体文化的传承与发展深刻影响着国家的前途和命运，而博物馆作为重要的文化载体，对于文化的传承起着重要作用随着我国社会的不断发展和进步，科学技术的发展速度越来越快，人们开始注重精神文明方面的追求，其中一个最显著的变化就是对国家文物和博物馆的关注度越来越高，根据数据显示，“十三五”期间，全国博物馆数量由4 692家增长至5 788家，平均每两天就有一家博物馆建成开放；博物馆年度参观人数由7 亿人次增长至12 亿人次，平均每年增加1 亿人次，截至2021 年底，全国已备案博物馆总数达6 183家。

而且自十八大以来，国家对文化保护和传承给予了重大关注，多次强调运用创新技术活化文物资源，更好地推进博物馆数字化、智慧化建设，从而更好地传承历史文化、弘扬民族精神，推进我国建设文化强国的进程让文物在新时代“活起来、传下去”（单霁翔，2019），需要博物馆结合先进技术，采用更易于被大众接受、更具趣味性的形式进行展示博物馆作为文化传承的载体，最初主要以文物展示为基础，以实际存在的形式向观众展示，但是存在很多局限1）在展示方面受各方面的限制，如安全、保护需求、场地和展示能力，以及有时出于对文物保护的考虑，所能提供展示的藏品和信息量非常有限，很多文物不能对外展出（例如故宫，据相关数据显示，每年展出的文物仅占藏品总量的5%左右），深藏馆中无人晓，没有发挥出文物应有的价值，约束了博物馆的文化传播职能和社会教育能力；2）单一的展示方式十分枯燥，削减了观众对文物进行深度了解的兴趣；3）文物实体不容易保存，很多文物随着时间流逝而老化和消失，可能造成文化遗产受损；4）在行政管理方面，不能从全局出发，系统配合，容易形成信息孤岛因此，实体博物馆已经不能满足发展的要求，随着3D 扫描技术、相机拍摄精度的提升以及各项现代化管理技术的提升，数字博物馆的概念由此提出。

一般认为，最早的数字博物馆是1990 年美国国会图书馆启动的“美国记忆”计划，强调以藏品资源数字化为主要内容，至此，博物馆建设进入了一个新时期1998 年，我国故宫博物院就开始着手建设自己的数字博物馆项目“数字故宫”数字博物馆突破了实体博物馆的展示限制和保护限制，首先是收集了博物馆的文物藏品的数字信息，有效地保护了文物；其次打破了现实世界与虚拟世界的壁垒，让用户可以采用现代科技手段体验文物数字博物馆在一定程度上丰富博物馆的展示方式，但是由于缺乏统一的规定，现有的数字博物馆只是简单地应用各种技术，并没有进行整合，更加剧了博物馆内各自为政和信息孤岛的形成为了解决这一问题，智慧博物馆应运而生智慧博物馆在数字博物馆已有的设计基础上，结合人工智能、大数据管理等技术，整合博物馆馆内资源，进行信息化管理，解决目前博物馆存在的信息孤岛、文物资源管理困难等问题，最终目的是打造一个智慧化的博物馆生态体系2014 年，我国开始进行智慧博物馆试点建设，并取得了初步的建设成果例如北京故宫博物院，上开设了全景故宫，一比一高精度真实还原故宫场景，用户上可以自由选择观赏路径且不限观赏时间，还可以选择不同季节进行观赏，观赏效果与实地旅游的效果相差无几；上海博物馆搭建了一个全国首创、全面基于数据的数字化管理平台，不仅仅将馆内的14 万余件藏品分门别类地进行数字化保存，更重要的是将人、馆、物结合到一起，通过获取博物馆内的实时人流信息为用户提供一个极具参考性的游览路线，并且可以通过获取用户的参观信息为每一位用户生产数据画像，为用户推荐感兴趣的文物，让用户在游览博物馆、观赏文物的整个过程中找到最适合自己的方式。

2021 年元宇宙这一概念兴起，其中包含扩展现实技术、数字孪生、区块链、大数据以及人工智能等多项新兴技术，主要强调虚实融合，并迅速应用到各个方面在元宇宙下建设智慧博物馆，使得博物馆能够在现有的基础上更进一步迈向未来，进而实现博物馆一体化智能运行，这必将成为建设智慧博物馆的新趋势2022 年6 月29 日，《中国移动互联网发展报告》（简称《报告》）提出，当下流行的元宇宙理念涵盖了虚拟博物馆的各个组成部分，无论是在网络上还是实地参观，都能够通过虚拟现实技术让观众获得超乎想象的视觉体验，因此，将智能博物馆引入元宇宙已经成为一个具有广阔发展前景的领域据《报告》介绍，元宇宙技术包含两大技术，分别是区块链技术与虚拟现实技术其中，区块链技术能够对其中的数字内容做独一无二的资产标记，对数字资产赋予经济价值，虚拟现实技术能够带来超越时间和空间的极致体验，让整个交互过程变得更加生动综上所述，在元宇宙中建设智慧博物院，已经成为当下推动博物馆智慧化建设的关键技术，不仅有利于挖掘和提升博物馆文物藏品保护传承技术发展，推动新兴技术的应用与创新，而且还主动融入国家发展重大战略，扩大中国优秀传统文化的传播影响，对弘扬中华文明、促进文化繁荣以及构筑文化自信具有重要意义。

1 国际研究现状1.1 文物数字化采集在元宇宙下建设智慧博物馆，首先是对文物进行数字化采集，获取文物的数字化信息，从而构建相应的虚拟文物，这是文物数字化建设的第一步文物数字采集就是利用数字化的手段对文物所蕴含的信息进行记录、建档，数字采集的基本流程一般分为4 个步骤，1）根据文物的特性制订采集方案；2）对文物进行测量与拍摄；3）对于采集到的图片信号或视频信号进行加工创建；4）基于处理过图片或视频数据对文物进行3 维建模数字化采集的目的在于将文化遗产活化以建立可长久保存的文物数字档案，为文物今后的保护、研究以及文化发展工作奠定基础（耿国华 等，2022）目前有很多数字采集的方法，主要分为以3 维扫描仪为主的数据采集和以摄影测量为主的数据采集1.1.1 基于3维扫描的数据采集在书画等2 维平面文物的数字化采集方面，德国CRUSE 大幅面平面扫描仪可对书画等类文物进行高精度数字化，分辨率最高可达2 000 dpi可移动文物的数字化采集通常利用结构光3 维扫描实现例如德国蔡司COMET 3 维扫描仪可采集文物表面高分辨率、高精度几何数据，美国法如ScanArm便携式三坐标测量机以及海克斯康便携式三坐标测量机可对大尺寸文物的几何形状进行精确建模。

为了采集彩色纹理信息，德国博尔科曼SmartScan 3 维扫描仪利用彩色相机同时拍摄结构光与纹理图像，加拿大形创Go!SCAN 手持式3维扫描仪借助额外的纹理相机采集彩色纹理，并基于多线结构光原理实现文物表面几何、纹理数据的自由式快速扫描在不可移动文物的数字化采集方面，美国法如Focus激光3 维扫描仪利用激光测距原理可快速采集古遗址、古建筑等大场景的3维模型1.1.2 基于近景摄影测量的数据采集在建立文物数字模型方面，西班牙Lerma 等人（2010）使用地面激光扫描（TLS）和近距离摄影测量技术有效地制作出精确和高分辨率的洞穴3D模型，其雕刻可追溯到旧石器时代晚期克罗地亚Gajski等人（2016）利用数字摄影测量技术和高精度测量，拍摄良好的宏观照片（摄影测量意义上），生成一个逼真的古老小雕像3 维模型英国Kaufman 等人（2015）使用摄影测量技术和增材制造（AM）技术进行数字图像捕获，并将其转换为3D 虚拟空间图像，最终实现了埃及文物数字模型的创建德国Lambers 等人（2007）使用数字摄影测量和激光扫描进行秘鲁平昌戈阿尔托的3D建模，结合使用配备摄像机的迷你直升机和地面激光扫描仪，快速准确地记录现场及其石头建筑。

法国Pamart等人（2017）提供一种正射影像学，解决了在多模式环境（即多传感器、多维、多光谱和多时相方法）中合并科学成像技术存在一些具有挑战性的问题，从而有可能对保护者/修复者的观察和行动规划进行度量量化，帮助修复者去进行多光谱的摄影数据采集美国Bentley ContextCapture、瑞士Pix4Dmapper、俄罗斯Agisoft Metashape 等商业软件可以对从多位置、多角度拍摄的图像进行3 维重建，得到古遗址、古建筑等不可移动文物的3维模型1.2 文物真实感重建随着计算机信息技术的发展，3 维重建技术在文物保护、传承和利用领域的应用越来越广泛，这也是元宇宙下建设智慧博物馆的一项重要技术文物3 维模型重建可以分为单体（件）文物的重建和古建筑、遗址等复杂文物的重建原真性是文物所属遗产领域的核心理念，而3 维重建的真实感是文物数字化保护和传承的重要指标文物3 维模型重建的真实感主要取决于两个方面：一是形状属性特征是否准确；二是表面属性特征是否真实近年来，围绕文物3 维真实感重建，国外相关机构和团队开展了诸多研究和实践较为著名的项目有：美国斯坦福大学利用激光测距仪对米开郎基罗雕像进行了3 维数字建模；英国剑桥大学图书馆和阿登布鲁克医院合作通过3 维扫描重建技术，复原了世界上第一块高精度甲骨文模型；德国斯图加特大学（Haala 和Alshawabkeh，2006）将激光3 维扫描与摄影测量技术相结合，生成了Al-Khasneh（约旦佩特拉古城纪念碑）的高质量3 维虚拟模型。

此外，产业界在相关方面也有所作为，许威威等人（2021）在其可微绘制技术研究进展文章中列举了在3 维模型纹理采集与重建方面产业界的成果，如美国XRite公司发布的TAC7 专业材质扫描仪，用来获取平面样本的各向同性表观数据同样的还有美国MURA公司的PBR纹理扫描仪和法国达索集团的DeltaTex2 扫描仪主要的3 维重建方法分为传统几何处理方法和基于深度学习的方法1.2.1 传统几何处理方法传统方法的3 维重建，光测度法和几何法是两大经典方向而SfM（structure from motion）和多视图几何算法是3 维重建领域的经典和基础算法，特别是对于静态的刚体文物3 维重建而言，以SfM（位姿计算）为代表的基于多视图几何的传统方法目前仍占主导地位光测度法最早可追溯至美国麻省理工大学教授Bert hold Klaus Paul Horn 提出的 Shapefrom-Shading方法，即所谓法向量方向在基于RGB-D 相机的3 维重建方面，Newcombe等人（2011）提出的Kinect Fusion 算法开创了使用RGB-D 相机进行实时3 维重建的先河，此后很多实时3 维重建系统都是在此基础上的扩展，例如美国斯坦福大学Dai 等人（2017）提出的Bundle Fusion 算法，是目前基于RGB-D 相机进行稠密3 维重建效果较为优秀的方法。

此外，Xin 等人（2019）在传统3 维重建算法上有了新的突破，论证了极值点到相机的光线的长度场梯度可用于重建反射物的3 维形状，可达毫米级精度虽然深度学习近年来发展迅猛，但是传统方法在文物重建领域仍然有广泛的用武之地1.2.2 深度学习方法随着人工智能技术的发展，基于深度学习3 维特征提取方法越来越成为文物3 维重建领域中的研究热点和难点，而精确、准确地获取3 维形状和纹理特征是文物3 维重建真实感的首要保证3 维深度学习强大的表征学习能力和几何推理能力，为基于单视点图像或不完整点云数据的3 维重建带来了实质性发展在基于点云的特征提取方面，具有代表性的有：Charles 等人（2017）相继提出神经网络模型PointNet和P。