国家自然基金标书-面向公共安全的社会感知数据处理
项目名称：面向公共安全的社会感知数据处理首席科学家：谭铁牛 中国科学院自动化研究所起止年限：2012.1-2016.8依托部门：中国科学院一、关键科学问题及研究内容1. 拟解决的关键科学问题如前所述（详见“立项依据”部分），保障国家公共安全与提高社会管理的科学化水平、支持国家经济建设和社会发展的科学决策、带动新一代信息技术等战略新兴产业的跨越发展是当前和未来一段时间我国的重大战略需求。这些重大需求归结到一个共同的关键科学问题就是复杂感知数据的高效处理与语义理解。从面向公共安全的角度讲，就是要将海量庞杂、异质多源、大范围时空关联的社会感知数据化繁为简，高效地提炼出满足公共安全需求的、人可理解并利用的信息情报和知识资源，从而有效服务于社会公共安全态势的实时监控、预警预报和应急处理。 社会感知数据的复杂性源自社会感知网络的复杂性。社会感知网络是一个复杂的巨系统，其复杂性主要体现在以下几个方面：（1）感知节点泛在分布。物理空间上亿级的视频监控终端和网络空间百亿级的计算机、智能手机等共同构成了一个庞大分布式的泛在社会感知信息网络。（2）感知数据海量混杂。根据IDC的统计和预测，2009年全球数据量达到了0.8 ZB（1021字节），2020年将达到35 ZB。社会感知数据包括文本、图形、图像、视频、音频等相互关联的不同模态，且动态变化、真伪混杂。（3）感知对象种类繁多。物理空间的感知对象主要包括场景、目标（人、车、物）、行为、人群密度、事件等；网络空间的感知对象包括网站、社区、论坛、博客、微博、话题倾向与传播情况、社会关系等。（4）感知主题跨越时空。社会态势感知需要围绕一个主题进行长期跟踪，只有对跨时间、跨地域、跨物理空间和网络空间的感知信息进行关联聚合才能准确把握公共安全事件的来龙去脉。人类社会同时存在于物理空间(Physical space)和网络空间(Cyber space)，这两个社会空间既相对独立又关联耦合。物理空间的视频监控主要体现社会大众的“行”，感知数据复杂性主要体现在分布式摄像机网络视觉感知数据的跨场景特性；而网络空间的社会媒体更多反映网民群体的“言”，感知数据复杂性主要体现在网络数据的跨媒体（文本、图像、视频、音频等）属性；从大尺度观测人类社会，感知数据具有跨物理与网络空间的复杂性。社会感知数据的上述“三跨”特性（即跨场景、跨媒体和跨空间）决定了社会感知数据高效处理与语义理解的复杂性、挑战性和前沿性。因此本项目的关键科学问题“复杂感知数据的高效处理和语义理解”可以进一步分解为以下三个更为直接、紧密关联的关键科学问题。（1）跨场景复杂视觉数据的分析与理解视觉感知是获取物理社会公共安全态势信息的最主要通道。全国各地为建设“平安城市”部署了数千万级的视频监控终端，构建了描述人们在物理空间社会活动的视觉传感网或视联网(IoV, Internet of Vision)。海量视觉数据的及时处理和有效利用已成为公共安全领域的重大技术瓶颈，其中的关键科学问题就是跨场景复杂视觉数据的分析与理解，即从大范围监控区域分布式摄像机网络的跨时空视觉感知数据中提炼出与公共安全主题密切关联的物理场景、目标（包括人、车、物）、行为、事件、社会关系等语义信息，并实现大范围视觉监控区域的整体感知与理解。不仅需要解决传统视频监控的5W问题“Who? When? Where? What? Why?”，突破传统计算机视觉算法的精确性、鲁棒性、高效性问题，而且需要解决覆盖大范围监控场景摄像机网络的协同以及大范围视觉监控区域的整体感知与理解问题，包括面向公共安全监控任务的自组织主动视觉感知网络，跨摄像机、多视角时空关联视频数据的感知聚合，深度挖掘社会关系网络、群体行为交互模式，连续跟踪报道公共安全事件的实时进展和来龙去脉，提炼战略级的公共安全视觉监控情报，实现大范围物理社会公共安全态势评估和预警。（2）跨媒体复杂网络数据的分析与理解网络空间中社会感知数据总体上具有开放性、时效性、互动性、匿名化、群体化、跨媒体、非结构化等特点。随着博客、微博、社交网站的流行以及多媒体终端设备包括网络音视频摄像头、数码相机、数码摄像机、智能手机的日益普及，人们可以很方便地在网络发表文字、图像、图形、视频、语音并茂的社会媒体，因此跨媒体成为网络数据复杂性的一个典型特征。赋予机器类似人类认知系统的跨媒体统一感知能力是智能信息处理的一个核心和热点科学问题，其中的关键问题是要将纷繁庞杂的跨媒体网络感知数据映射到高层语义空间实现统一的内容理解和信息聚合，自动捕捉苗头性、敏感性、倾向性的网络舆情信息，发现突发事件、预测发展态势，实现公共安全隐患的预警预报。（3）跨物理与网络空间感知数据的协同计算与理解网络空间作为人类社会生存空间在信息化、网络化时代的扩展与延伸，与物理存在的人类传统社会空间紧密关联、互为补充、互相影响。以社会感知为目标，物理空间获取的更多是人们的“行”，而网络空间感知的更多是大众的“言”。言行合一、言行互补，因此只有察言观行、两者协同，才能更深入、更全面、更准确、更可靠地获取公共安全态势情报。但是问题的关键是物理与网络空间的社会感知数据在感知手段、感知对象、感知内容、数据可信度、时空演化特性等方面都具有显著差异性，如何围绕公共安全态势感知这一共同目标实现二元空间复杂感知数据的协同分析和聚合理解，而不是简单的信息融合，是跨二元空间大尺度社会感知所面临的最大科学挑战。2. 主要研究内容围绕以上所述的三个关键科学问题，本着“有限目标，突出重点”的原则，本项目拟从三个层次开展研究：社会感知数据处理的基础理论、社会感知数据的计算与理解、社会感知数据处理的集成与验证。其中，第一个层次的研究是整个项目的基础，其结果可望为第二个层次的计算模型与方法研究提供基础理论和方法论上的指导；第二个层次的研究是关键，其结果可望为面向公共安全的社会感知数据处理的实际应用提供方法和算法的储备；第三个层次的研究是平台，旨在为第二个层次提出的关键计算模型和方法建立瞄准公共安全重大应用的验证环境和数据平台。第一个层次的研究内容包括社会感知数据处理的认知基础与计算理论；第二个层次的研究内容包括物理空间感知数据的计算与理解、网络空间感知数据的计算与理解以及物理与网络空间的协同感知；第三个层次的研究内容包括社会感知数据处理的公共平台与验证系统。这五个方面的研究内容既有围绕上述三个关键科学问题的共性基础性（第一个层次）和集成验证性（第三个层次）工作，也有围绕这三个关键科学问题的针对性工作（第二个层次）。现将这五个方面的研究内容简要阐述如下。（1）社会感知数据处理的认知基础与计算理论 社会感知数据处理的共性问题是海量动态跨媒体数据的高效处理与语义理解，研究人对社会感知信息的认知机制及对跨媒体数据高效处理的计算理论与算法，对整个项目的研究具有基础性的作用。主要内容包括： 社会感知数据的认知特征及其整合机制。探索文本、图像、视频等跨媒体、多模态数据的人脑认知加工机制，包括场景中的文字内容的认知理解，视听觉信息的认知整合，短期感知记忆对人脑多感官语义整合的影响，视觉皮层中物体表示及听觉信息处理的神经机制等。 多源异构数据的测度学习理论。多源异构性是海量跨媒体社会感知数据的主要特点之一，研究多源异构数据的测度表示和学习是实现社会感知数据高效准确处理的基础性问题之一。具体内容包括多源异构数据的关联机制、自适应关联模型和统一表示，多源异构数据距离测度学习方法，社会感知数据到高层语义空间的多层次、多粒度映射关系，针对海量数据处理的近似或快速计算方法等。 社会感知数据的结构表示与学习理论。研究结构表示和学习预测模型可以更好地利用社会感知数据固有的内在结构（比如互补、冗余、因果关系等）。具体内容包括社会感知数据的结构化表示，基于时空变化的动态鲁棒结构学习，多源异构数据的结构关联与结构融合，多任务场景下的协同学习方法和高效的优化推理算法等。 社会感知数据处理的知识表示、获取与度量理论与方法。主要解决社会感知数据中的实体（人、车、物）、场景、行为、关系、事件等对象的知识描述、抽取和知识利用问题，实现领域知识的深度利用。具体内容包括：社会感知领域知识的多层次、多粒度知识表示框架与表示方法，社会感知数据中的自动知识获取方法，基于大规模知识框架的信息度量理论与方法等。（2）物理空间感知数据的计算与理解充分利用物理空间泛在的视联网资源，实现社会公共安全主题中场景、目标、行为、事件、关系等语义内容的自组织主动感知和跨摄像机场景分析、事件态势分析与社会关系分析，是社会信息感知和安全监控的重要组成部分。主要内容包括： 多摄像机网络自组织视觉感知。利用泛在分布式摄像机网络节点之间的关联，研究动态自组织视觉感知联盟，通过摄像机终端的局部视觉感知和知识引导，自动搜索和选择感知节点集合构建自组织的视觉监控网络，并利用该网络的统计特性来推知运动目标的意图，实现自组织监控的目的。 多摄像机大范围动态场景建模与理解。本研究的目标是有效提取关联公共安全事件的场景、目标和行为、事件等高层语义信息，具体内容包括：面向大范围动态场景的高精度三维重建，运动目标的跨摄像机、多视角检测与跟踪，结合场景动态建模和多目标跟踪的大范围动态场景高层语义理解与融合，面向大范围动态场景理解的图语法学习和因果推理算法等。 泛在视觉感知环境下的群体行为分析。研究泛在视觉感知环境下的聚集群体发现、人群规模和密度估计，人群属性（性别、年龄分布）、行为（情绪、动作、手持物、行进速度）和标语文字内容识别，群体交互和行为特征的表达和建模方法、群体行为类型识别方法，大规模群体事件的检测和识别方法等。 基于分布式视频监控数据的社会网络分析。研究物理空间视频监控数据中敏感人物和车辆的识别和跨场景跟踪，敏感人群行为关系的类型、强度和动态更新过程建模，敏感人物的社会关系网挖掘和危险行为预警。（3）网络空间感知数据的计算与理解网络空间大量话题和事件的突发性涌现会产生巨大的社会影响，本项目通过对网络跨媒体数据的分析与计算，自动捕捉关系公共安全的苗头性、敏感性、倾向性的网络舆情信息，及时发现关系社会公共安全的问题、群体、关系、事件等语义信息。主要内容包括： 网络空间社会感知数据的主动获取。研究面向新闻、论坛、博客、微博、社交网络等多通道网络信息的主动采集技术，Deep Web动态网页的采集与解析还原技术，网页结构化特征抽取技术，面向海量多通道网络信息的分布式、可扩展的高性能获取体系架构。 网络空间突发事件发现与演化分析。研究海量信息的快速话题发现和增量更新方法，基于时域分析的网络空间突发事件发现方法，网络信息交流的动力学扩散特性、传播机制和事件源头发现，事件的多视角、多尺度演化规律和发展趋势预测模型。 跨媒体网络数据的倾向性分析。从不同媒体数据（包括文本、图像、视频等）中提取表达倾向性的特征，研究面向网络空间感知的观点信息结构化表示模型，分析倾向性的主客观性和领域差异性，研究跨领域倾向性分析，多立场、多视角倾向性分析，观点信息的时域、空域动态变化趋势等。 网络空间的复杂群体关系挖掘。研究不同视角的异构关系特征提取方法和融合计算模型；研究社区结构的显著性度量方法，发现重叠的、能够反映消息动态传播聚集性质的社区结构；研究基于多尺度异构关系的网络群体发现方法；分析网络空间中对象之间的多元异构关联关系，识别特定群体的核心对象。（4）物理与网络空间的协同感知社会公共安全态势和事件线索往往同时存在于物理空间和网络空间，并且在二元空间中相互影响。因此，研究二元空间协同互动感知机制，实现二元空间协同的实体和社会群体发掘与关系分析、公共安全事件跨时空全局态势分析与预测，对准确监控、预警预报和应急处理公共安全事件是不可或缺的。主要内容包括： 物理空间与网络空间的复杂关联发现与建模。研究二元空间多媒体数据在语义表达上
