捕获在生成的场景内表演的演员的视图和运动的制作方法.docx

捕获在生成的场景内表演的演员的视图和运动的制作方法专利名称：捕获在生成的场景内表演的演员的视图和运动的制作方法技术领域：本发明涉及电影和视频游戏，并且更具体地说，本发明涉及模拟在对于这种电影和视频游戏生成的场景内操作的虚拟相机的表现背景技术：动作捕获系统用于捕获真实对象的运动并且将它们映射到计算机生成的对象上这种系统通常用于创建数字表示的电影和视频游戏的产生，该数字表示用作用于创建计算机图形(CG)动画的源数据在使用典型动作捕获系统的时期(session)中，演员穿着具有附在各种位置的标记(例如，具有附在身体和四肢的小反射标记)的衣服，并且数字相机记录演员的运动然后，该系统分析图像以确定在每帧中标记在演员的衣服上的位置(例如，作为空间坐标)和定向通过跟踪标记的位置，该系统创建随时间的标记的空间表示，并且建立运动着的演员的数字表示然后，将该动作应用于数字模型，然后，对该数字模型进行纹理化和润色，以产生演员和/或者表演的完全CG表示在许多流行的电影和游戏中，这种技术被特技公司用来产生逼真的动画发明内容本发明提供生成视觉娱乐节目的虚拟环境的场景在一个实现中，公开了一种用于捕获在生成的场景内表演的演员的视图和运动的方法。

该方法包括跟踪在空间的物理容积内的演员佩戴的头戴相机和多个动作捕获标记的运动；将头戴相机的运动转化为在虚拟环境内操作的虚拟角色的头部运动；将多个动作捕获标记的运动转化为虚拟角色的身体运动；利用虚拟角色的头部运动和身体运动生成第一个人视点镜头；以及将生成的第一个人视点镜头提供到演员佩戴的头戴相机在另一实现中，公开了一种用于捕获在生成的场景内表演的演员的视图和运动的方法该方法包括跟踪在空间的物理容积内的演员的头部佩戴的对象的位置和定向；跟踪在空间的物理容积内的演员的身体佩戴的动作捕获标记的位置；将对象的位置和定向转化为在虚拟环境内操作的虚拟角色的头部运动；将多个动作捕获标记的位置转化为虚拟角色的身体运动；以及利用虚拟角色的头部运动和身体运动来产生第一个人视点镜头在另一实现中，公开了一种用于生成视觉娱乐节目的虚拟环境的场景的系统该系统包括多个位置跟踪器，配置为跟踪空间的物理容积内表演的演员佩戴的头戴相机对象和多个动作捕获标记的位置；定向跟踪器，配置为跟踪头戴相机对象的定向；处理器，包括存储包括计算机程序的存储介质，该计算机程序包括使处理器执行如下步骤的可执行指令接收包括虚拟角色的视频文件；从多个位置跟踪器接收关于头戴相机对象和多个动作捕获标记的位置的跟踪信息；从定向跟踪器接收关于头戴相机对象的定向的跟踪信息；将头戴相机对象的位置和定向转化为在虚拟环境内操作的虚拟角色的头部运动；将多个动作捕获标记的位置转化为虚拟角色的身体运动；利用虚拟角色的头部运动和身体运动产生第一个人视点镜头；以及将生成的第一个人视点镜头提供到演员佩戴的头戴相机对象。

在又ー实现中，公开了ー种用于存储用于生成视觉娱乐节目的虚拟环境的场景的计算机程序的计算机可读存储介质该计算机程序包括使计算机执行如下步骤的可执行指令接收包括虚拟环境的视频文件；从多个位置跟踪器接收关于头戴相机对象和多个动作捕获标记的位置的跟踪信息；从定向跟踪器接收关于头戴相机对象的定向的跟踪信息；将头戴相机对象的位置和定向转化为在虚拟环境内操作的虚拟角色的头部运动；将多个动作捕获标记的位置转化为虚拟角色的身体运动；利用虚拟角色的头部运动和身体运动生成第一个人视点镜头；以及将生成的第一个人视点镜头提供到演员佩戴的头戴相机对象阅读了下面的详细描述和附图后，本发明的其他特征和优点对于本技术领域内的普通技术人员更加显而易见图I示出在完成的中间阶段示出虚拟角色的ー个示例场景；图2示出在图I所示中件阶段附加生动特征到虚拟角色上的ー个示例场景；图3是示出第一个人视点镜头的ー个示例场景；图4示出动作捕获时期的几种不同配置的ー个示例图5示出用于跟踪在对电影和/或者视频游戏生成的场景内操作的演员佩戴的头戴相机和标记的空间的物理容积(physical volume)；图6示出在多个动作捕获标记附于衣服的情况下佩戴头戴相机和整套衣物(bodysuit)的演员的一个示例；图7示出用于执行动作捕获时期的空间的物理容积的ー个示例设置；图8示出利用硬件和软件的组合来捕获演员的头部运动的头戴相机的一个示例；图9是示出用于捕获在对电影、视频游戏和/或者仿真生成的场景中表演的演员的视图和运动的处理的流程图。

具体实施例方式在此公开的特定实现可以捕获在对电影、视频游戏、仿真和/或者其他视觉娱乐节目生成的场景内表演的演员的视图和运动在一些实现中，捕获在生成的场景内表演的ー个以上演员的视图和运动其他实现用于模拟在生成的场景中操作的头戴相机的表现(performance)ο向演员提供生成的场景，以辅助演员在该场景下表演在一些实现中，演员包括表演者、游戏玩家和/或者生成电影、视频游戏和/或者其他仿真的系统的用户在一种实现中，向演员佩戴的头戴相机提供生成的场景，以向演员提供虚拟环境的感觉佩戴头戴相机的演员绕着动作捕获容积物理地运动，其中头戴相机的物理运动被跟踪并且被转化为演员在虚拟环境内的视场在一些实现中，演员的该视场表示为拍摄相机的视点镜头在又ー实现中，佩戴头戴相机的演员也可以穿具有一组动作捕获标记的整套衣物动作捕获标记的物理运动被跟踪并且被转化为演员在虚拟环境下的运动捕获的演员和头戴相机的运动并入生成的场景中，以产生在虚拟环境下操作的演员的一系列第一个人视点镜头反馈到头戴相机的第一个人视点镜头允许演员看到在虚拟环境内操作的角色的手和脚上述步骤对于其中频繁地需要第一人称(first person perspective)以作为组合故事讲述与代入式游戏扮演的方式的游戏是特别有用的。

在一种实现中，虚拟角色操作的虚拟环境包括对视频游戏生成的虚拟环境在另一实现中，虚拟角色操作的虚拟环境包括对其中虚拟场景与实况动作场景集成的电影生成的混合环境应当注意，头戴相机不是物理相机，而是表示虚拟环境中的虚拟相机的物理对象物理对象的运动(定向变化)被跟踪，以使它们与虚拟环境内操作的虚拟角色的相机角视点相关联在上述实现中，通过跟踪演员佩戴的头戴相机的位置和定向；以及将位置和定向转化为在虚拟环境内演员的视场，来捕获第一个人视点镜头此外，设置在演员穿的整套衣物上的标记被跟踪，以生成在虚拟环境内操作的演员的运动阅读了该描述后，如何在各种实现和应用中实现本发明变得显而易见然而，尽管 在此描述了本发明的各种实现，但是应当明白这些实现仅作为示例示出并且没有限制性这样，不应当认为对各种实现的这种详细描述限制本发明的范围或者广度随着提供更加真实和生动的动画(通常在3D环境下)的技术的出现，视频游戏正变成不仅仅是游戏的更有吸引力的娱乐此外，这种吸引力可以并入诸如电影或者各种仿真的其他娱乐节目中动作捕获时期使用一系列动作捕获相机捕获演员的身体上的标记；将捕获的标记传送到计算机，将它们应用于骨骼以生成图形角色；以及对图形角色添加生动特征。

例如，图I和图2示出利用动作捕获时期对图形角色(请参见图I)添加的生动特征(请参见图2)此外，仿真在对视频游戏生成的场景内表演的演员(例如，如图3所示)的第一个人视点镜头允许视频游戏的玩家通过持续参与故事中而代入到游戏环境中3D环境下生成的场景最初由电影相机和/或者动作捕获相机捕获、被处理以及被传送到物理摄影机图4示出动作捕获时期的几种不同配置的一个示例在替代实现中，利用计算机图形(例如，利用关键帧动画)生成场景在一种实现中，利用佩戴头戴相机502和穿着具有多个动作捕获标记510附于衣服的整套衣物的演员生成演员的第一个人视点镜头，并且如图5所示，该演员在空间500的物理容积内表演图6示出佩戴头戴相机和多个动作捕获标记附于衣服的整套衣物的演员的一个示例图7示出用于执行动作捕获时期的空间的物理容积的一个示例设置在图5所示的实现中，在空间500的物理容积内跟踪演员520佩戴的头戴相机502的位置和定向然后，通过将头戴相机502的运动转化为在对电影和视频游戏(“3D视频环境”)生成的场景内操作的人的头部运动，来生成演员520的第一个人视点镜头此外，通过跟踪设置在演员穿的整套衣物上的动作捕获标记510，生成演员520的身体运动。

然后，由第一个人视点镜头和演员520的身体运动生成的场景反馈到演员佩戴的头戴相机502，以辅助演员在该场景内表演(例如，在虚拟环境内操作的角色的脚和手可见)因此，反馈允许演员520看到角色在虚拟环境中在看什么，并且绕该环境虚拟步行演员520可以看并且与虚拟环境内的角色和对象互动图8示出利用硬件和软件的组合捕获演员的头部运动的头戴相机的一个示例再参考图5，利用附于天花板的位置跟踪器540跟踪头戴相机502的位置跟踪器540的支架还可以以栅格图案520布置跟踪器540还可以用于感测头戴相机502的定向然而，在典型配置中，附于相机502的加速度计或者陀螺仪用于感测相机502的定向ー但生成虚拟环境的场景，头戴相机502的跟踪的运动就转化为在虚拟环境内操作的角色的头部运动，并且计算和生成第一个人视点(即，虚拟角色的视点)镜头这些第一个人视点镜头提供到计算机进行存储、输出和/或者用于其他目的，诸如，反馈到头戴相机502，以辅助演员520在虚拟环境的场景内表演因此，“生成”第一个人视点镜头的处理包括在空间500的物理容积内跟踪头戴相机502的运动(即，位置和定向)和演员520上的标记510的运动；将头戴相机502的运动转化为对应于演员520的虚拟角色的头部运动(即，虚拟角色用作演员的化身)；将标记510的运动转化为虚拟角色的身体运动；利用虚拟角色的头部运动和身体运动生成第一个人视点镜头；以及在头戴相机502上反馈并显示生成的第一个人视点镜头。

生成的镜头可以通过有线或者无线地反馈并且显示在头戴相机502的显示器上概括地说，描述了用于捕获在对电影、视频游戏和/或者仿真生成的虚拟场景内表演的演员的视图和运动的系统该系统包括位置跟踪器、定向跟踪器、处理 器、存储单元和显示器位置跟踪器配置为跟踪头戴相机和一组运动捕获标记的位置定向跟踪器配置为跟踪头戴相机的定向处理器包括用于存储包括可执行指令的计算机程序的存储介质可执行指令使处理器将头戴相机的运动转化为在对电影或者视频游戏生成的场景内操作的虚拟角色的头部运动，其中对应于物理头戴相机的跟踪位置和定向来生成虚拟角色的视场；将动作捕获标记的运动转化为虚拟角色的身体运动；利用虚拟角色的头部运动和身体运动生成第一个人视点镜头；以及将生成的第一个人视点镜头反馈并显示在头戴相机上如上所述，捕获的第一个人视点镜头和在动作捕获容积内表演的演员的运动允许在生成的虚拟场景内操作的虚拟角色向着、离开以及绕着动作捕获(或者动画的关键帧)角色或者对象运动，以创建虚拟3D环境下的真实的第一个人视点镜头例如，图5示出佩戴头戴相机502并且在空间500的物理容积内表演的演员520由于相机502正处于由天花板上的跟踪器540跟踪的位置和由附于相机502的传感器跟踪的定向，所以这些跟踪信息发送到处理器，并且处理器将表示在虚拟3D环境内操作的虚拟相机的视点和运动的视频送回。

该视频存储在存储单元内，并且显示在头戴相机502上在通过上面描述的本发明的各种实现使对头戴相机(捕获演员的视图和运动)的仿真可用之前，动作捕获时期(用于产生生成的场景)包括判定相机将定位在何处和因此引导动作捕获演员(或者动画角色)运动到何处然而，利用上述技术的可用性，在动作捕获时期(或者动画关键帧时期)完成之后可以判定相机的位置和角度以及演员的运动此外，由于可以实时地执行头戴相机仿真时期，所以在选择提供最佳相机运动和角度的特定镜头之前，可以执行和记录多个头戴相机仿真时期记录该时期，以使得可以估计每个时期，并且可以关于相机的运动和角度进行比较在某些情况下，可以在几个不同动作。