基于大数据的安全分析及溯源技术-技术规范及评分标准-20150922v2

“移动互联网系统与应用安全国家工程实验室”基于大数据的安全分析及溯源技术技术规范2015年9月目录一、 项目背景3二、 项目建设目标3三、 总体架构4四、 本期采购内容6五、 主要采购需求61. 供应商资质71) 注册资金72) 投标方产品案例73) 投标方服务案例74) 第三方资质75) 信誉要求72. 功能需求81) 流量数据解析模块82) 数据清洗及去重模块83) 报文信息及协议解析模块84) 数据入库模块95) 分析算法库96) 挖掘算法库97) 恶意特征库108) 趋势预测模型模块109) 数据脱敏及模糊化模块1010) 信息生命周期管理模块1111) 日志审计模块1112) 网络及移动数据隐私防泄漏模块113. 性能需求121) 流量数据解析122) 数据清洗及去重123) 数据入库124) 分析算法库125) 挖掘算法库126) 恶意特征库137) 数据隐私保护及审计13六、 招投标评分表13一、 项目背景 国家发改委于2013年11月4日正式批复（发改办高技20132685 号文）中国电信建设“移动互联网系统与应用安全国家工程实验室”（下称国家实验室），中国电信确定由上海研究院为主承建。为进行实验室建设，中国电信下达了“中国电信 2014 年移动互联网系统与应用安全国家工程实验室建设工程”、“中国电信 2014 年移动互联网系统与应用安全国家工程实验室配套工程”等项目，搭建移动互联网与业务安全研发实验平台，端到端的安全测评和仿真实验平台，移动互联网安全技术应用示范平台等三大平台。二、 项目建设目标国家实验室的已建成网络信息的大数据采集套件、大数据分析系统软件，主要着眼于移动互联网信息内容安全方面的研发。本期采购1套第三方软件，在国家实验室现有基础上增加算法特征库、网络及终端数据保护等工具，完备国家实验室在“基于大数据的安全分析与溯源”方向的研发环境，并利用大数据在“移动互联网系统与应用安全”方面进行技术研究及突破，构建“大数据安全分析及溯源示范过程”，主要以实现：1) 面向智能终端用户及应用开发商的移动互联网仿冒应用识别及渠道监测能力：通过对海量数据进行分析，对主流移动互联网应用进行快速抽取及比对，进行仿冒移动互联网应用的识别、警示以及应用发布渠道的监测；2) 面向监管部门及移动互联网应用商城的结合大数据安全分析的移动互联网应用检测能力：通过对应用层协议的上下文会话数据提取及深度分析能力，对移动互联网应用进行深度挖掘分析，结合移动互联网应用特征库及应用检测技术对应用App所包含的恶意代码、木马病毒特征等进行发现；3) 面向政企用户的网络威胁情报分析服务：利用流式计算和大规模并行计算等技术进行实时分析及深度挖掘等，通过流量对进行历史分析、回话关联对如APT（高级可持续性）攻击等进行检测；4) 面向后端运维部门的恶意行为发现及溯源服务：对数据进行安全元数据的提取，结合恶意地址、恶意行为特征进行监测发现，可为移动互联网应用等后端的服务器提供注入攻击监测、XSS攻击监测、远程命令执行监测等的能力；5) 面向国家安全部门提供移动互联网安全态势分析能力服务：主要结合海量数据的分析挖掘技术对恶意行为进行发现、事件反查溯源、传播预测/预警、系统漏洞发现及挖掘等；项目建设的预期主要指标如下：l 端对端采集清洗输出延迟 < 800ms l 系统采集有效数据包丢包率 < 0.01% l 实时清洗率 > 97%；l 支持分布式白名单；l 恶意特征库动态加载，生效延迟 < 0.5s l 支持分布式旁路分析及挖掘算法库；l 系统支持分布式负载均衡；三、 总体架构“基于大数据的安全分析与溯源”平台整体架构如下图所示：其中绿色部分为国家工程实验室现有基础，主要为实现移动互联网信息内容安全方面的分析与溯源；红色为本期采购涉及内容，蓝色部分为实验室自主研发部分。目前所具备的的主要数据源如下：1) 与IT部大数据平台互通，主要获取固网DPI、C网DPI、LTE DPI等数据：中国电信信息园区 B12 1 楼实验室机房新增 1 根专线连接北泰(/云莲)机房；2) 通过端口镜像使用分流采集设备，以1对多的输入、输出获取IDC流量：信息园区 B2 IDC 2-1 机房 A13 机架至信息园区 B12B国家工程实验室机房；3) 承接集团公司信安部对国家实验室开展大数据安全及大数据安全分析科研的要求，与上海CU平台对接，获取本地IDC CU平台数据：新桃浦 3 楼 IDC B21 机架至信息园区 B12B 国家工程实验室机房；4) 以FTP或离线数据导入方式不定期从集团“移动用户上网日志留存”平台获取电信移动用户上网留存日志；四、 本期采购内容本期主要采购的功能模块如下：1 流量数据解析模块2 数据清洗及去重模块3 报文信息及协议解析模块4 数据入库模块5 分析算法库6 挖掘算法库7 恶意特征库8 趋势预测模型9 数据脱敏及模糊化模块10 信息生命周期管理模块11 日志审计模块12 网络及移动数据隐私防泄漏模块五、 主要采购需求本期采购需求分为：供应商资质、模块功能、模块性能三部分，具体如下：1. 供应商资质1) 注册资金投标人注册资金情况，注册资金1000万元人民币以上；2) 投标方产品案例应具有为省部级或以上单位成功案例3个以上，须采用大数据分析技术进行数据挖掘或流量分析；应具有近2年内合同金额大于200万的运营商大数据平台建设或数据处理分析服务案例；应提供该案例的合同或立项证明，并提供该案例的完整技术方案；3) 投标方服务案例近两年内：应具有为省部级以上单位提供大数据安全管理软件或平台服务的案例；应提供相应的合同或协议证明；4) 第三方资质对投标方所获得的第三方资质要求，如：CMMI3级及以上资质、通信信息网络系统集成企业资质”丙级及以上或“计算机信息系统集成企业资质3级及以上，满足ISO9001质量管理体系认证；5) 信誉要求投标人不得存在下列情形之一：u 投标人被责令停业或破产状态的；u 投标人被暂停或取消投标资格的；u 投标人财产被重组、接管、查封、扣押或冻结的；u 投标人在最近三年内（2012年至今）有违法行为或被媒体曝光且在社会上造成恶劣影响的；u 投标人在最近三年内（2012年至今）严重违反合同约定的；u 投标人在最近三年内（2012年至今）有骗取中标的；u 投标产品在使用过程中出现过重大质量问题且未妥善解决的；2. 功能需求采购内容功能需求如下，其中带*号项为需求关键项。1) 流量数据解析模块* 需能够支持解析pcap、netflow、sflow等大规模流量格式；* 需可还原Http类型的IP包头和内容，包括源IP、源端口、源所在地、目标IP、目标端口、目标所在地、协议、威胁等级等；* 需可支持全球数据解析定位，获取所在的的经纬度；2) 数据清洗及去重模块* 需能确保实现数据的一致性：当原始数据源更新时，清洗和去重后的数据能反应变化和联系；* 具备分布式实时清洗技术；需能够有效防止数据污染，对收集数据中的副作用数据进行识别和过滤，以及有效避免数据遭受入侵、篡改和替换；需能根据平台需求将来源不同的数据进行标准化处理，统一为同一种待分析数据；需能根据平台分析的需要，进行必要的降维处理，以聚焦主要指标分析，通过相关性分析进行降维；3) 报文信息及协议解析模块* 需可支持Http类型TCP协议解析，支持到链路层、传输层、会话层、应用层等协议识别和解析；需可支持各类工控协议的解析识别和移动应用Http类型的协议的解析识别；需可支持标记未知的应用层协议；* 需可支持网页、Webmail等内容的解析。* 需可将解析的内容进行重组再现，以直观进行展现。4) 数据入库模块* 具备数据处理过程的智能调度；* 支持针对结构化和非结构化协议报文数据的入库接口。* 数据入库接口需支持HDFS、HBase、Hive等非结构化数据存储平台。5) 分析算法库* 需可支持进行分析算法自定义，从而快速进行分析算法的扩展；* 需支持基于安全元数据的共性计算特性，包括基于共同属性的关联分析，以及异构数据源之间的元数据关联分析；* 需可支持Web应用层Http类型的协议的上下文会话数据提取、深度分析能力；* 支持恶意应用、恶意代码、恶意攻击者、恶意网址URL的溯源分析能力；* 应支持包括Hadoop、Spark、Storm等平台；* 需支持本地部署，以及至少3年的分析算法库免费更新；* 需可提供进行二次开发Restful API接口；6) 挖掘算法库* 需可支持进行分析算法自定义，从而快速进行挖掘算法的扩展；* 需支持针对Webshell、XSS、SQL注入、爬虫、扫描攻击等的大规模离线和实时混合分析与检测机制，并生成拦截过滤规则；支持基于大规模移动应用Http类型流量的聚类分析功能；支持基于大规模普通Web流量的聚类分析功能；* 实现基于Http请求包的深度安全检测能力，能够检测潜在的恶意攻击行为和窃密行为等；* 提供的各类挖掘算法应支持包括Hadoop、Spark、Storm等平台；* 需支持本地部署，以及至少3年的挖掘算法库免费更新；* 需可提供进行二次开发Restful API接口；7) 恶意特征库* 需可支持通过ioc等脚本工具查找某一类的恶意文件、网站、代码等；* 需可根据用户需求自定义恶意特征库；* 应支持包括Hadoop、Spark、Storm等平台；* 需支持本地部署，以及至少3年的挖掘算法库免费更新；* 需可提供进行二次开发Restful API接口；8) 趋势预测模型模块* 可提供针对移动平台的应用传播趋势预测模型；* 可提供针对移动平台的恶意应用增长趋势预测模型；* 提供针对普通Web应用的恶意攻击增长趋势预测模型；可提供针对漏洞和0Day的传播趋势预测模型；* 需可支持运行于分布式数据库之上，以适用于进行海量数据的分析；* 需可进行预测模型可定义，以预测模型的修改和扩展；* 应支持包括Hadoop、Spark、Storm等平台；* 需支持本地部署，以及至少3年的预测模型库免费更新；* 需可提供进行二次开发Restful API接口；9) 数据脱敏及模糊化模块* 需可支持敏感数据脱敏需满足PII（个人可识别信息）定义，即脱敏后数据不能包含可识别或者定位个人的信息集；。* 需可支持对需要统计的精确数据支持模糊化处理能力；* 需可支持进行数据脱敏规则的自定义；需支持针对脱敏后的数据进行审计，防止未脱敏数据外泄；* 需支持本地部署，以及至少3年免费的脱敏库更新服务；* 需可提供进行二次开发Restful API接口；10) 信息生命周期管理模块* 需可支持对平台内安全元数据、帐号、应用等进行全流程生命周期管理；* 需可支持针对不同权限和用途的账号进行全流程控制管理；需可支持针对信息和用户的管理规则自定义；需可针对生命周期管理进行定期审计；11) 日志审计模块* 需可支持分布式日志数据的高性能采集、格式化、存储和管理，并且与平台业务相互隔离；* 需可支持提供日志范式化和详尽