大数据可视分析在海洋领域的应用

1、大数据可视分析在海洋领域的应用Application of big data visual analysis in the marine field摘要随着海洋观测技术和数值仿真技术的发展，人们能获取到规模更大、分辨率更高的海洋数据，这为复杂多元海洋环境要素及结构现象的分析带来了机遇，同时也给传统的分析方法带来了挑战。因此，将大数据可视分析方法引入了海洋数据分析，并探索了其在多元海洋时空数据分析、海洋重要结构的时空特征和演化分析等方面的应用价值，开发了多个可视分析系统，并通过全球和我国周边一些海域数据分析的案例研究，提出了海洋数据可视分析的基本框架，展示了可视分析是大数据时代海洋复杂数据分析方面一种很有前途的技术。关键词：可视分析;多元海洋时空数据;海洋结构;可视分析应用AbstractWith the development of ocean observation technology and numerical simulation technology, larger scale and higher resolution ocean data can be obtained,

2、 which brings opportunities for the analysis of complex ocean environmental elements and structures, and also brings great challenges to traditional analysis methods.For this reason, the method of big data visual analysis was introduced and its application value in the analysis of multivariate ocean spatiotemporal data, the spatiotemporal characteristics and evolution analysis of important ocean structures was explored.Some visual analysis systems were developed and the basic framework of visual

3、 analysis of ocean data through case studies of data analysis of some sea areas around the world and China was summarized, showing that visual analysis is a promising technology for ocean complex data analysis in the era of big data.Keywords：visual analysis;multiple ocean temporal and spatial data;ocean structure;visual analysis application1 引言随着海洋观测技术和数值仿真技术的不断进步，人们逐渐可以获取到更高分辨率和更大规模的多元时空变化的数据集，这给针对海洋复杂过程的分析研究提供了更多的机会，也带来了很大的挑战。首先，海洋数据本身隐含着复杂的时空过程和多元要素的动态变化，多个时空变量在空间和时间上与多个尺度高度相关，这使得从这些庞杂的数据中获取有

4、价值的模式或发现海洋结构（现象）及其时空演化规律变得困难；同时大数据使得传统的依赖人工发现、评估和解释时空模式或特征的分析方法变得低效；另外对海洋结构及其时空模式的识别目前还是局部粒度的，缺少对其时空模式的整体概览和多尺度细致的分析，而且目前的分析系统也缺少符合海洋研究者探索不同海洋时空情形的高效交互方式；此外，海量海洋大数据导致存储困难、计算时间过长，虽然采用常规的数据约简技术可以降低数据规模，但同时容易引起数据细节甚至关键结构信息的丢失；高纬度的海洋多元要素间的关系分析也变得复杂和困难；传统的2D/3D可视化方法难以应对海量高维复杂时空数据的挑战，视觉混淆和过度绘制问题变得尤为突出。可视分析是结合了机器学习、统计等自动化数据分析算法和交互式可视化来促进数据分析和推理的科学1，能从大规模和复杂数据中多尺度地提取有用的信息和有意义的知识2，并通过交互可视化数据探索生成假设和验证，以获得对物理现象的科学洞察，因而可视分析是现有的基于经验、理论和基于数值模式方法进行复杂海洋数据分析研究的有力补充。为此，笔者将先进的可视分析技术引入复杂海洋数据分析中，开发了多个可视分析系统，用于辅助领域专家

5、探索多元海洋环境要素的时空特征或相关性，分析涡旋及海洋锋等重要海洋结构（现象）的时空特征及其演化规律，呈现可视分析技术在海洋数据分析领域的应用前景，并总结了海洋数据可视分析的基本框架。2 相关工作2.1 多元海洋时空数据可视分析常见的多元海洋时空数据可视分析是围绕研究一个或多个海洋标量（温度、盐度等）和矢量（流场）的变化特征展开的，例如，Stein R J等人3提出了一个用于水质研究的交互式可视分析系统，该系统利用剖面、等值面、轮廓面、矢量箭头等方法，对水源盐度和流场数据的时空特征进行多视图协同交互分析。Su T Y等人4开发了海洋数据可视分析系统，它支持对等高线、等值面、体绘制和流场的动态模拟，该集成系统采用基于图形处理器（graphics processing unit，GPU）的渲染方法加速标量或矢量场的绘制，直观地分析海量海洋水文环境要素的空间特征，提升了数据分析时交互的速度。由于海洋数据是由多个相互关联的变量组成的多场数据集，出现了一些基于平行坐标分析多变量关系的可视分析系统。例如，Guo H Q等人5提出了一种针对多变量体数据的可视分析系统，利用平行坐标图和基于多维比例尺图

6、对多变量体数据进行可视化和交互分析，实验证明，该系统对不同大小和不同属性的数据集的可视分析具有较高的可扩展性。Yano M等人6提出了一个三维可视化系统，利用平行坐标图对全球多个模态水域的多元属性（温度、密度和盐度）进行对比分析，以发现模态相似的水域。Rocha A等人7提出了一个用于分析仿真模型中多个海洋标量、矢量间相关性的可视分析系统，以不同的可视化形式同时叠加多个变量的可视化显示，支持灵活的用户交互和多变量切换显示，以满足用户多层次的分析需求。但基于平行坐标的可视分析系统存在线条重叠和视觉混乱的问题，因此又出现了一些带有聚合功能的平行坐标图的新设计。总之，相比传统的可视化分析方法，多元时空数据可视分析系统提供了更多的交互探索和可视化新设计，可在不同程度上提升数据分析的质量和效率。2.2 海洋结构（现象）的可视分析大规模海洋数据中隐含着与复杂海洋过程相关的多种结构或现象，这里笔者主要以海洋锋和涡旋等重要海洋结构识别与检测、时空特征分析和演化两个方面介绍相关可视分析系统。2.2.1 海洋结构（现象）的识别与检测在海洋中，各种现象/结构时时刻刻都会发生变化，并且每种现象都有其自身的物理

7、特征，因此产生了多种特有结构的检测和分析方法。海洋锋的检测方法主要有梯度法、直方图法 、熵方法、Canny边缘算子方法8等。常用的涡旋检测方法有3种9：第一种是基于几何的方法，该方法利用流场中流线的几何形状确定涡旋；第二种是基于阈值的方法，代表性的阈值法是基于Okubo-Weiss参数检测涡旋；第三种是结合几何法与阈值法的混合检测方法，该方法可以提高涡流检测的准确性和从海平面高度异常识别涡旋多核结构的能力。此外，通过Okubo-We iss参数阈值法识别涡旋，并将其作为训练集，然后通过卷积神经网络（convolutional neural network， CNN）进行特征学习，可实现基于深度学习的涡旋检测10。2.2.2 海洋结构（现象）的时空特征和演化由于海洋数据规模变大，海洋结构（现象）通常涉及多个变量在空间、时间和多个尺度上的变化，这加大了海洋结构（现象）时空特征及演化分析的难度。Matsuoka D等人9提出了一种涡旋检测、跟踪、事件检测和可视化的新方法，分析涡旋演化过程中的合并和分叉，以及涡旋和洋流之间的相互作用等事件。Woodring J等人11开发了一个全球海洋涡旋系统

8、，利用折线图、直方图等常见的图表对涡旋的大小、深度进行可视化，还利用大量的高分辨率时空建模数据对涡旋进行多尺度的空间探索分析。可视分析技术确实在时空模式发现和演化分析的效率和质量方面有显著的促进作用，但是在海洋领域应用可视分析技术的研究目前还处于起步阶段，如何应用可视分析技术更好地提升复杂海洋数据分析的能力，值得进一步探索和研究。3 海洋领域的可视分析技术3.1 海洋数据及预处理通常，海洋数据来自观测设备（如卫星、船舶或传感器等），或来自计算机仿真（如海洋大气模型）。海洋和大气在循环系统中相互耦合，因此这里的海洋数据主要指各种海洋环境要素，包括海洋水文数据和海洋气象数据。海洋水文数据包含水深、水温、盐度、水流、波浪、水色、透明度、海冰和海洋光等。海洋气象数据包含气温、压力、湿度、风速、降水、云、雾等12。单个时间步长的观测数据和模拟数据全部由空间场数据组成，该空间场数据的每个网格点处都由多个变量组成。因此，各种时间序列的空间场数 据构成了海洋数据集（观测数据集或仿真集）。随着观测技术和计算机模拟技术的不断发展，海洋数据的获取量正在以不可预测的速度迅速增长。同时，海洋数据包含强大的时空过

9、程，涉及多尺度结构之间的复杂相互作用。海洋数据具有异构性高、维度高、体积大、时空变化大以及多种海洋数据属性之间耦合相关的 特点。因此，在收集到海洋数据后，首先要进行数据清洗，以消除重复性数据、缺失数据等；其次要进行数据精简，例如过滤/采样（如简单随机采样、等距抽样、分层抽样等）、降维、分组聚合和模型拟合等12,13。3.2 海洋领域的可视分析技术3.2.1 海洋领域常用的可视化方法海洋领域的可视分析系统通常采用科学可视化技术，信息可视化技术用得较少，但信息可视化技术在以挖掘信息和获取知识为目标的大数据分析中尤为重要1。早期，多维海洋环境要素（如水温、盐度等标量和流场矢量）可视化的常用方法是使用二维点、线、面、粒子、标记符和3D体进行绘制。对于空间数据可视化，2D地图或基于地球上的投影展示通常是地理分布的首选，同时还需要考虑投影、比例尺和视觉编码设置；对于时间序列数据可视化，通常用时间序列图展示海洋变量或现象的变化趋势。当对象的时空信息维度较高时，三维展示也存在局限性，因此通常还需要结合高维数据可视化方法，如散点图、热图/相关矩阵、投影、平行坐标图以及集成的平行坐标散点图等常用的可视化方式13。但是在大数据环境下，平行坐标图会遇到线条密集、重叠 覆盖的问题，根据线条的聚合特征可以对平行坐标图进行简化，减少视觉混淆1。3.2.2 海洋领域常用的交互方法在大数据可视分析的界面中，还需要提供相应的交互组件以及合适的交互方式来帮助用户使用和管理分析过程。目前，信息可视化中的人机 交互技术主要可以分为5类：动态过滤技术、整体+详细技术、平移+缩放技术、焦点+上下文技术、多视图关联协同技术1。但对于一个具体的海洋领域可视分析系 统而言，往往需要依据其特定的分析任务和用户习惯来设计更恰当的交互方式。常用的交互方式有选择、探索、抽象/具象、过滤、重配置、编码、连接等。选择是海洋数据可视分析系统中最常见的交互技术，允许用户在很多显示项目中标记感兴趣的特定项目，选择这些项目并跟踪它们；探索允许用户通过更改视图来查看无法在视口或显示屏上可视化的项目；抽象/具象可以帮助用户查

《大数据可视分析在海洋领域的应用》由会员一****人分享，可在线阅读，更多相关《大数据可视分析在海洋领域的应用》请在金锄头文库上搜索。