有线电视网络数据采集上报的、大数据平台与应用系统的交互过程与接口要求.pdf

GY/T XXX.1XXXX 8 附录A （规范性） 数据采集上报的交互过程与接口要求 A.1交互过程 A.1.1概述 为了实现大数据系统的整体功能，大数据平台、数据采集终端、网关单元之间应按照本文件约定的 机制相互协调工作，图A.1展示了单元间的必要协调机制及通信过程，包括认证注册、控制信令下发和 数据上报 数据源 执行任务 返回结果 数据采集终端数据采集终端网关网关大数据平台大数据平台 认证注册 响应认证/注册 同步注册信息 响应 响应 下发采集任务 响应 下发采集任务 响应 上报数据 响应 上报数据 响应 采集状态监控 下发采集任务 响应 响应 图 A.1大数据系统各单元间的通信过程 A.1.2交互过程 各单元间协调工作时，信令交互过程和要求如下： GY/T XXX.1XXXX 9 a)网关应可通过规范接口，向大数据平台提交设备认证及注册请求，成功后方可继续后续操作， 否则无法成为大数据系统中的可管理的一个单元； b)数据采集终端应可通过规范接口， 向网关提交设备认证及注册请求， 成功后方可继续后续操作； c)网关在收到数据采集终端的注册请求时， 应可将注册信息同步到大数据平台， 同步成功后数据 采集终端成为大数据系统中的可管理的一个单元； d)大数据平台应可对数据采集终端进行统一管理， 包括向终端下发采集任务、 查看终端采集状态 等信令，这些信令应由相应的通信单元转发送达数据采集终端； e)数据采集终端收到信令后，应按要求执行相应的操作，例如收到数据采集信令，则开始执行采 集操作，并将采集到的数据上报给网关； f)网关应能接收并处理数据采集终端上报的消息和数据， 对于格式不符合规范要求的， 网关进行 格式转换、聚合和封装处理后上传到大数据平台； g)大数据平台应可接收并处理网关上报的数据。

A.2接口 A.2.1概述 考虑到各数据采集终端所使用的采集技术的差异，本文件仅规定数据交换接口的共性要求 基于大数据的数据量大， 部分数据存在实时接收处理需求， 本章定义的接口消息格式和传输协议兼 顾考虑传输效率和实时性的要求，此外还考虑： a)独立性：不以具体的操作系统或程序语言限制采集数据的格式、实现方式； b)标准性：保持采集数据交换格式和数据封装方式的一致性，确保基本数据项的完整； c)开放性：采用基础通信协议和开放、通用的数据标识方式，避免数据交换过程产生歧义； d)兼容性：兼容多种数据来源格式； e)可扩展性：在终端、平台、机构等发生变化时仍可进行接口适配 A.2.2认证注册 A.2.2.1概述 按照本文件的描述，系统中存在两类设备认证注册接口，分别适用于两类场景：数据采集终端向网 关认证注册，网关向大数据平台认证注册系统设计实现时，应根据设备角色选择相应的接口 A.2.2.2数据采集终端向网关进行设备认证注册 数据采集终端进行设备认证注册时，要求如下： a)数据采集终端应先向网关完成设备认证，才能进行后续交互； b)设备认证所使用的凭据，应是能够标识设备身份的信息，例如产品序列号、硬件序列号等，相 关认证凭据，应预先在认证服务端录入，以便认证时进行比对； c)认证方式宜采用 OAuth2 认证框架； d)认证模式宜采用 OAuth2 协议中的密码模式，认证过程应符合 A.3 的规定； e)认证通过后，数据采集终端应立刻向网关发起设备注册请求，注册过程见 A.4； f)网关收到数据采集终端的注册请求并处理完成后， 应将同步注册信息实时到大数据平台， 同步 过程见 A.4。

A.2.2.3网关向大数据平台进行设备认证注册 网关进行设备认证注册时，要求如下： GY/T XXX.1XXXX 10 a)网关应先向大数据平台完成设备认证，才能进行后续交互； b)设备认证所使用的凭据，应是能够标识设备身份的信息，例如产品序列号、硬件序列号等，相 关认证凭据，应预先在认证服务端录入，以便认证时进行比对； c)认证方式宜采用 OAuth2 认证框架； d)认证模式宜采用 OAuth2 协议中的密码模式，认证过程见 A.3； e)认证通过后，网关应向大数据平台实时发起设备注册请求，注册过程见 A.4 A.2.3控制信令 为保证控制信令在各单元间传递， 数据采集终端与网关之间应始终维持一条控制信令传输通道， 每 个网关和大数据平台之间同样应维持一条控制信令传输通道 控制信令的传递方式如下， 数据采集终端可以通过控制信令通道上报消息到网关， 然后经网关中转， 通过网关和大数据平台之间的控制信令通道，最终到达大数据平台同样，大数据平台主动发送的消息 也应经网关中转后到达数据采集终端 控制信令通道应通过长连接来实现， 如基于TCP的全双工通讯协议WebSocket， 该协议支持持久连接， 能在数据采集终端和大数据平台之间保持长连接，并且连接双方都可以作为消息发送方主动发起消息。

WebSocket协议净荷为消息，格式描述应符合IETF RFC 8259规定的JSON字符串的要求，字符编码应符合 IETF RFC 3629定义的UTF-8编码 控制消息应具有统一的头部信息，各字段定义应符合表A.1的规定 表 A.1控制消息头部信息 参数名称字段类型参数说明 提供方名称ProviderNameString自定义 提供方代码ProviderIDString标识提供数据方设备的唯一代码 消息类型MsgTypeInt传输消息的类型 消息动作MsgActionInt传输消息对应的动作 上报时间MsgTimeString 数据上报的时间戳，精确到秒，符合GB/T 74082005的5.4.1 中“日期和日的时间的组合”的“完全表示法”，数据格式为 yyyymmddhhmmss 基本的控制信令消息应包括心跳状态（消息类型1000）、采集任务下发（消息类型2000）、数据采 集终端状态查询（消息类型2001）、采集任务状态查询（消息类型2002），格式见A.5，也可自定义控 制信令，但应遵循本条所规定的技术要求 A.2.4数据上报 A.2.4.1概述 数据采集终端执行采集任务后，获取到的结果通过数据上报接口发送到大数据平台。

数据采集终端生成的数据宜分为数据采集终端到网关、网关到大数据平台两步上报 A.2.4.2数据采集终端到网关的数据上报 数据采集终端应通过网关中转上报数据，不应直接将数据直接上报到大数据平台 为了尽少占用网关资源， 数据采集终端到网关的数据上报宜采取短连接， 数据发送完毕后立刻关闭 网络连接，节省连接资源 GY/T XXX.1XXXX 11 数据传输协议应采用HTTP/HTTPS协议，URI中的域名为网关地址，采用HTTP POST报文，消息格式应 符合IETF RFC 8259规定的JSON字符串规范，字符编码应符合IETF RFC 3629定义的UTF-8编码 数据上报消息应附加表A.2定义的通用字段，用于数据描述 表 A.2终端到网关的通用字段定义 参数名称字段类型参数说明 提供方名称ProviderNameString自定义 提供方代码ProviderIDString标识提供数据方设备的唯一代码 数据类型DataTypeString传输数据的类型，如OA数据、收视数据等 上报时间PostTimeString 数据上报的时间戳，精确到秒，符合GB/T 74082005“基本格 式”中的“完全表示”方法，数据格式为yyyymmddhhmmss 以下为数据上报消息的参考格式，以直播收视行为数据为例： POST /data HTTP/1.1 Host: Authorization: Bearer 2YotnFZFEjr1zCsicMWpAA Content-Type: application/json DeviceID: 123456X, DeviceRegionID: 123456, Time: 20190323160015, ServiceType: 2, ActionType: 1, object: ChannelID: 3201001001, ChannelName: 某广播电视台综合频道, Status: 1, EnterType: 2, PlayStatus: 1 A.2.4.3网关到大数据平台的数据上报 网关应对收到的数据采集终端数据进行聚合和格式转换等处理后，再发送到大数据平台。

为了尽少占用网关资源， 网关到大数据平台的数据上报宜采取短连接， 数据发送完毕后立刻关闭网 络连接，节省连接资源 数据传输协议应采用HTTP/HTTPS协议，URI中的域名为大数据平台地址，采用HTTP POST报文，消息 格式应符合IETF RFC 8259规定的JSON字符串规范，字符编码应符合IETF RFC 3629定义的UTF-8编码 网关作为HTTP请求的发起方，应对POST请求的正文内容（JSON字符串）进行数据压缩处理，数据压 缩 格 式 应 采 用 符 合 IETF RFC 1952 定 义 的 GZIP 压 缩 格 式 ， 同 时 应 在 请 求 头 部 中 添 加 字 段 “Content-Encoding: gzip” GY/T XXX.1XXXX 12 大数据平台作为HTTP请求的接收方，应支持对GZIP格式数据的解压缩 数据上报消息应附加表A.3定义的通用字段，用于数据描述 表 A.3网关到大数据平台的通用字段定义 参数名称字段类型参数说明 网关名称GatewayNameString自定义 网关代码GatewayIDString标识网关的唯一代码 聚合时间AggrTimeString 数据聚合的时间戳，精确到秒，符合GB/T 74082005“基本 格式”中的“完全表示”方法，数据格式为yyyymmddhhmmss 以下为数据上报消息的参考格式，为多条数据以数组的形式聚合到一条数据消息中： POST /data HTTP/1.1 Host: Authorization: Bearer 2YotnFZFEjr1zCsicMWpAA Content-Type: application/json GatewayName: XXXX网关, GatewayID: 1111, AggrTime: 20190323160025, object: ProviderName: 某公司, ProviderID: 123456X, DataType: Live, PostTime: 20190323160015, object: ChannelID: 3201001001, ChannelName: 某广播电视台综合频道, VideoFormat: 2, ProgramID: 1301019901, ProgramName: 某节目, ProgramLength: 005700, ProgramPlaydate: 20180104, ProgramPlayTime: 172500 , ProviderName: XXXX公司, ProviderID: 123456X, DataType: VOD, PostTime: 20190323160015, GY/T XXX.1XXXX 13 object: ChannelID: 3201001002, ChannelName: 某广播电视台综合频道, VideoFormat: 2, ProgramID: 1301019901, ProgramName: 某节目, ProgramLength: 005700, ProgramPlaydate: 20180104, ProgramPlayTime: 172500 , ProviderName: XXXX公司, ProviderID: 123456X, DataType: VOD, PostTime: 20190323160015, object: ChannelID: 3201001002, ChannelName: 某广播电视台综合频道, VideoF。