数据资源共享与大数据分析-招标文件编写参考
数据资源共享与大数据分析采购内容及指标要求第一部分、商务需求序号内容说明和要求1.投标人资质无2.投标产品资质无3.核心产品无4.是否允许联合体投标否5.是否允许进口产品投标否6.节能环保要求无7.信息安全要求无8.是否需要现场考察否，本项目不组织现场踏勘。9.是否收取履约保证金否10.采购人信息单位名称：国务院办公厅机关服务中心，单位地址：北京市西城区府右街2号，联系人姓名：周凯，联系电话：010-63099131，电子邮箱：dzbcgb163.com11.预算金额 ，最高限价预算金额：人民币 2567.27 万元，最高限价：人民币2567.27 万元12.项目履约时间详见技术和服务需求13.项目履约地点详见技术和服务需求第二部分、技术和服务需求一、采购内容一览表本包/本项目（国家政务服务平台（一期）工程数据资源共享与分析系统建设）为国家政务服务平台（一期）工程的重要组成部分，具体采购内容如下：序号服务项目名称1资源共享服务中心2政务服务大数据分析系统3相关标准规范（共享/大数据分析6个标准）二、履约时间和地点（一） 履约时间：序号服务项目名称履约时间1资源共享服务中心2018年10月底前完成资源共享服务中心建设2政务服务大数据分析系统2018年10月底前完成政务服务大数据分析系统建设3相关标准规范（共享/大数据分析6个标准） 3.1信息资源开放共享标准2018年8月底日前：完成标准规范编制3.2数据交换与共享接口规范2018年8月底日前：完成标准规范编制3.3政务服务大数据分析模型规范2018年8月底日前：完成标准规范编制3.4政务服务数据服务接口规范2018年8月底日前：完成标准规范编制3.5政务服务数据编码规范2018年8月底日前：完成标准规范编制3.6政务服务整合规范2018年8月底日前：完成标准规范编制（二） 履约地点：北京三、服务内容及指标要求（一）应用软件定制开发技术要求1、资源共享服务中心序号重要性指标项指标要求1应用软件成熟度要求投标人需根据招标要求，采用成熟的应用软件进行投标，并基于投标的应用软件提供面向招标人的定制开发服务，完成各项功能要求。2投标人采购原厂商成熟应用软件及定制开发服务，要求资源共享服务中心项目下只涉及同一家原厂商。3#投标人须提供能够证明软件数据支撑类功能模块成熟度的相关证明：投标人所投软件的原厂商须提供数据元管理系统、业务对象管理系统计算机软件著作权登记证书（须加盖原厂商公章，2017年12月31日之前获得的证书为准）。原件备查。4#投标人须提供能够证明软件数据支撑类功能模块成熟度的相关证明：投标人所投软件的原厂商须提供元数据管理系统、数据目录管理系统、数据推荐系统计算机软件著作权登记证书（须加盖原厂商公章，2017年12月31日之前获得的证书为准）。原件备查。5#投标人须提供能够证明软件应用支撑类功能模块成熟度的相关证明：投标人所投软件的原厂商须提供应用自动化部署系统、应用集群管理系统、应用容器管理系统计算机软件著作权登记证书（须加盖原厂商公章，2017年12月31日之前获得的证书为准）。原件备查。6#投标人须提供能够证明软件应用支撑类功能模块成熟度的相关证明：投标人所投软件的原厂商须提供应用命名解析系统、服务命名解析系统计算机软件著作权登记证书（须加盖原厂商公章，2017年12月31日之前获得的证书为准）。原件备查。7#投标人须提供能够证明软件数据交换类功能模块成熟度的相关证明：投标人所投软件的原厂商须提供数据交换管理系统、数据汇聚管理系统计算机软件著作权登记证书（须加盖原厂商公章，2017年12月31日之前获得的证书为准）。原件备查。8#总体技术要求系统应具备完备的访问控制机制，每个用户使用各自的信息登录访问系统，并能支持两种以上的认证模式。9#系统应具备完备的权限控制和越权防护功能，根据用户和角色赋予使用权限，用户不可访问未赋予使用权限。10#系统应具备基本的安全防护能力，能够防护如sql注入、csrf跨站请求攻击、xss跨站脚本注入等常见的网络请求攻击行为。11#系统应支持跨平台部署，同时支持windows和linux操作系统服务器，也可支持基于docker容器进行部署。12#系统支持SQL Server、Mysql、MPP、Hbase等多种数据库类型。13#系统应具备分布式架构部署的能力，可以支持横向拓展。14#系统容量要求支撑现有信息资源的存量，并能支持未来3年的信息资源增长的能力。15#在网络稳定的环境下操作界面单一操作的系统响应时间小于3秒。16#系统应提供724小时的连续运行，平均年故障时间5天，平均故障修复时间2小时。17#本系统在满足上述要求以外，还须满足：18#满足B/S分布式应用模式要求。19技术路线20#要求采用主流、先进、成熟的信息技术：要求采用“安全可靠、自主可控”的应用软件为定制开发基础。以J2EE为核心技术路线，严格遵循SOA的设计理念，融合云计算和大数据领域的相关技术，综合运用如虚拟化技术、分布式存储技术、分布式计算技术、分布式缓存技术等先进的技术。21#要求采用“一体化”的统一数据服务架构：支持关系型数据库、非关系型NoSQL数据库和分布式文件系统三种存储方式，能根据需要对数据层进行进一步的封装，实现系统建设中数据源与数据访问之间解耦，数据访问与数据源分离后，形成“一体化”的统一的大数据存储和访问服务层。22#要求采用基于元数据的全生命周期数据标准化管理：必须采用数据统一管控技术，统一管控数据的全生命周期管理。采用元数据驱动设计理念，规划元数据对象的创建、运行、评估、维护各环节。23#要求采用综合分布式、集群化等应用架构模式构建国家政务服务平台资源共享服务中心的技术架构。24#要求采用基于虚拟化技术实现应用和服务资源的按需供给和弹性扩展：要求采用虚拟化技术实现软件应用与底层硬件相隔离，将单个资源划分成多个虚拟资源的裂分模式，将多个资源整合成一个虚拟资源的聚合模式。25大数据基础服务要求26#技术通用性强，便于开放应用，实现通用化接口、图形化管理。大数据支持的基础服务组件及支持多种接口类型。27#支持高并发毫秒级数据插入/修改/查询/删除。28#非硬件原因和非业务需求的情况下，保证平台7*24小时无故障运行。29#支持集群节点的下线，具备高扩展性，减少物理节点时，原有应用不受影响，数据快速重分布。集群性能与节点数量应呈线性关系。节点下线时，正在进行的作业如不存在数据副本全部丢失的情况，不会异常中断，新作业提交正常。30#支持集群节点的扩展，具备高扩展性，增加物理节点时，原有应用不受影响，平滑扩容，数据快速重分布。集群性能与节点数量应呈线性关系。节点扩展时正在进行的作业不会异常中断，新作业提交正常。31#600条/每秒数据上传压力下，数据无堆积、不丢失。32#大数据入库速度>10000条/每秒，入库延迟不大于1秒。33#支持基于自定义SQL语句的数据抽取。34#支持多种抽取模式，包括：实时抽取、定时抽取、手工抽取；支持任务调度方式管理抽取过程，支持多任务并行数据抽取，提高数据抽取效率。35数据汇聚要求36#支持汇聚多种类型数据资源。37#支持基于业务规则的数据正确性验证。具备完善的数据整合故障处理机制。解决数据整合过程中出现的数据冲突等问题，确保数据完整性、一致性、有效性。38#支持对汇集的政务服务信息进行必要的数据质量管理功能，以保证汇聚的各种动态信息的准确性，具有一定的信息冗余手段对出错的信息进行纠正，对缺失数据进行融合补偿。39数据存储要求40#应支持海量结构化、半结构化和非结构数据的存储。41#支持非结构化和半结构化数据，通过分词等技术进行结构化信息的提取，将结构化数据存储到数据库中。42#分布式存储TB级数据规模下，秒级响应查询指定Key值的数据。43#分布式存储支持1W+/s的插入。44#分布式存储支持数据多版本存储。45#分布式存储提供基于数据块的数据操作功能，批量操作数据的写入、修改等。46#分布式存储支持高可用性，支持HA，High Availability。47#分布式存储支持节点级别的容错，至少允许一个节点离线。48大数据检索与查询要求49#核心的分布式搜索引擎结合存储路由算法提供高效快速的实时检索服务。50#提供丰富的对外服务接口，支持Java SDK，RESTful等方式访问。51#支持多种数据源检索与查询。52#支持精确、模糊查询、任意字段组合查询功能。53#支持分页查询，跨页跳转。54#无单点故障，服务可平滑扩容。55#检索服务接收到关键字之后，在索引库中进行检索，并根据影响因子对检索内容进行排序；同时可以做到拼写检查。56#支持精确、模糊和多条件组合查询。支持对查询结果按指定字段进行降序或升序排序，给出查询结果的同时要给出符合条件的总记录数。57#百亿数据规模，进行单表分组统计响应时间5s。58数据共享与交换59#为了保证消息中间件的高可用，要求消息中间件采用集群方案。60#当出现网络异常、上传程序服务异常、消息中间件服务异常或其他异常情况导致数据推送中断时，要求具备数据补传机制，即当服务恢复正常时，服务异常期间的历史数据要全部补传至消息中间件上。大数据中心提供RESTful、消息总线、Java SDK或JDBC API 方式进行数据共享和交换，且数据共享和交换时延需满足业务要求。61#数据交换对接要求支持部门业务信息库与交换信息库之间的双向信息同步；支持国内外主流数据库管理系统；支持结构化与非结构化文件；提供增量数据自动识别功能。在不修改业务信息库结构的情况下，系统能自动识别需交换的信息，包括新增，被修改或被删除的数据；支持图形化的信息交换及配置管理工具；支持基于规则配置的格式转换与内容转换功能。62#数据交换服务要对数据汇聚、处理、整合等全过程进行调度和控制，监测数据质量，识别问题数据，保证国家平台政务数据的准确、完整和可靠。在网络情况良好，数据库性能足够，平均每行的字节数不大的情况下，同构数据库之间的数据交换可达每分钟10万条，异构数据库之间的数据交换可达每分钟5万条。63#数据安全要求系统可以监控数据交换全过程，实时掌握数据流转状态和日志，保证交换过程的数据安全。且系统需具有数据追溯功能，全程记录和跟踪每一条交换数据的交换轨迹，记录交换数据所经过的路径和属性信息，直观展示数据在各个环节传输情况，实现通过路径追踪的功能对每个消息包进行路径跟踪和数据追溯。64多租户技术65#要求提供基于多租户的数据开发能力共享服务：当各个系统的数据集中之后，系统提供大数据开发的能力，用户根据各自的业务需求，进行数据作业的开发及调试工作；
