资讯数据中心交流课件.ppt

资讯数据中心资讯数据中心目 录需求分析需求分析数据中心规划与设计数据中心技术方案港澳资讯优势分析 典型案例介绍需求分析（重复采购、信息孤岛）资讯数据资讯数据需求分析为什么要建立数据中心？01 数据的重复采购数据的重复采购02 系统开发面对多种数据接口系统开发面对多种数据接口03 数据源管理复杂数据源管理复杂04 数据孤立于各个系统之中数据孤立于各个系统之中05 数据共享困难数据共享困难06 系统中的数据替换成本高系统中的数据替换成本高07 数据没有积累和沉淀数据没有积累和沉淀需求分析数据中心是什么？数据源数据源数据中心数据中心ETL采编系统采编系统ETL监控系统监控系统数据发布系统数据发布系统通用展示系统通用展示系统维护系统维护系统数据接口服务数据接口服务数据源数据源数据源数据源需求分析数据中心建成示意图元数据管理元数据管理采编系统采编系统知识管理平台知识管理平台CRM系统系统VIP服务终端服务终端网站服务网站服务营业部专栏营业部专栏短信服务短信服务数据中心数据中心客户经理平台客户经理平台营销服务平台营销服务平台需求分析建成数据中心受益点01 统一了公司数据接口统一了公司数据接口02 不同级别信息用不同方式服务于不同级不同级别信息用不同方式服务于不同级别客户所需的数据可以由数据中心统一提别客户所需的数据可以由数据中心统一提供供03 降低了系统对某一数据供应商的依赖度降低了系统对某一数据供应商的依赖度04 打通了内部所有系统的数据流打通了内部所有系统的数据流目 录需求分析数据中心规划与设计数据中心规划与设计数据中心技术方案港澳资讯优势分析 典型案例介绍规划与设计01 数据源数据源02 数据采集、清洗（数据采集、清洗（ETL）03 数据发布、维护、应用数据发布、维护、应用04 数据展现与接口开发数据展现与接口开发规划与设计数据源（分类）序号序号分分类类原原则则分分类类说说明明01投资品种股票/基金相关投资品种的基本资料、交易报价、重要事项、财务业绩、投资分析等数据债券/权证利率/外汇期货/商品02投资群体机构发行、监管、中介服务、投资等机构；公司高管、相关机构从业人员、管理人员、监管机构高层领导等个人03投资环境宏观环境宏观经济、国际经济数据中观环境行业经济、区域经济数据04数据结构结构化交易行情、财务报表、统计月报等数据非结构化财经新闻、研究报告、法律法规、公司公告等文本资料以及图片、视频等媒体资料05数据加工基础数据公开披露的各种金融资讯数据及宏观行业统计的不可衍生计算的基础信息衍生数据根据基础数据进行简单运算得到的衍生信息模型数据基础信息和衍生信息通过分析模型计算生成的信息06数据来源外购数据向不同的资讯供应商外购各金融资讯数据内部数据公司内部的研究报告、投资建议、分析模型数据等其他数据其他需要入库的数据规划与设计数据源（内容）序号序号内容内容说说明明01财经新闻财经、证券类动态信息02基础数据包括股票、债券、基金、权证及衍生品等基本资料03行情数据各证券品种及指数行情数据及金融工程所需的高频数据04宏观数据权威部门发布的各类宏观数据05行业数据包括各行业产量、指数、财务、价格数据等06研究报告公司自己的研究成果07交易数据公司交易用户的历史交易数据08专供数据为服务定制的各类信息产品、股票池及投资组合等09短信数据需要短信服务于客户的专用数据10衍生数据各类风控、资产评估等模型所需要的衍生数据规划与设计数据源（关联）规划与设计数据源（流向）外购数据数据清洗 | 数据整合 | 数据校验原有内部数据其他入库数据资讯数据中心资讯数据中心资讯数据中心资讯数据中心临时库临时库 | 风险控制 | 知识管理 | 估值评价 | 其他应用 | 研究人员 数据维护信息提取其他用户信息数据加工者信息数据生产者信息数据使用者J2EE/.Net信息数据提取者各类型应用数据库各类型应用数据库各类型服务产品数据库各类型服务产品数据库港澳资讯港澳资讯规划与设计（采编系统）自有信息采集规划与设计ETL（数据处理）结构化数据通常是指被记录信息的类型,格式等属性是固定的，比如：交易行情，各种财务报表等，数据中心通过ETL和专用系统来实现结构化数据的导入主要支持的数据源：各种数据库（oracle,db2,ms sqlserver mysql等所有主流数据库）XBRL（可扩展商业报告语言）XML，DBF，EXCEL等结构文件Bloomberg数据接口，大智慧行情接口等WebService等各种服务接口非结构化数据是指被记录信息的数据长度和格式等是不固定的，比如：网站上新闻内容，WORD，PDF等文件内容。

对于非结构化数据处理，数据中心提供了网站抓取识别系统等系统实现智能导入对于没有办法自动识别的数据通过数据中心信息采集系统手动采集可以自动识别的非结构化数据：邮件接收和分拣HTML，WORD，PDF等各种网站的抓取规划与设计ETL（图形化开发界面）规划与设计ETL（监控）规划与设计数据发布数据发布系统是作为任务调度系统的一个插件，实现数据中心到各种数据库的数据发布功能，支持局域网和internet发布系统主要特点：发布配置简单，选择需要发布的内容和目标数据库系统就会自动发布数据过去支持历史数据发布功能，以天为单位补历史数据支持所有主流数据库支持发布时过滤功能支持数据库间字段自动匹配，也就是目标数据库结构可以不同，发布时自动匹配相同字段支持发布数据到EXCEL和WORD规划与设计数据应用序号序号应用应用01其他自有和特有数据的ETL开发02个性化数据衍生计算03全文检索服务04资讯数据展示05后台维护目 录需求分析数据中心规划与设计数据中心技术方案数据中心技术方案港澳资讯优势分析 典型案例介绍技术方案数据中心成败关键1. 1. 可靠性，稳定性可靠性，稳定性 2. 2. 开放性3. 3. 功能灵活性。

功能灵活性根据我们在数据中心的实施经验，数据根据我们在数据中心的实施经验，数据中心建设能否成功的关键在于：中心建设能否成功的关键在于：技术方案采用技术数据中心系统整体方案是采用oracle +java + 开源框架的体系系系统统模模块块技技术术数据中心数据库oracleETL转换kettleETL监控系统java数据源跟踪系统java数据发布系统java + ibatis + kettle信息采集系统spring mvc + spring + ibatis信息展示系统spring mvc + spring + ibatis技术方案相关技术说明根据经验数据中心目前容量容易已经接近1T，这么大的容量已经达到微软sql server处理的极限，所以采用Oracle数据库操作系统的稳定性对数据中心稳定性影响很大，为了提高数据中心稳定性，我们采用比WINDOWS更加稳定的Unix/Linux开发工具我们选择JAVA，因为当前企业应用JAVA是应用最广泛的，拥有各种成熟的技术，在企业应用中比dotnet更加成熟Dotnet目前只能应用于WINDOWS平台，服务器仅限于IIS在系统支持上较JAVA平台差很多。

WINDOWS的稳定性和可靠性差是有目共睹的JAVA社区里各方面都有成熟稳定的技术框架，所以在整个数据中心开发过程中，能借用开源力量的，我们就不会从头开发，而是采用开源框架进行二次开发，这样保证了我们的系统的可靠性，同时提高了生产力数据ETL工具是数据中心最核心的部分，我们考查了大部分的主流ETL系统，最终我们选择了开源的Kettle，在Kettle基础上开发出适合证券行业特点的ETL系统 目 录需求分析数据中心规划与设计数据中心技术方案港澳资讯优势分析 典型案例介绍典型案例介绍案例介绍1-中投数据中心建设建立集中数据中心，供各个部门使用；实时跟踪全国的最新行业信息，并对信息进行分类整理加工，包括决策参考和专题市场调研报告；决策参考包括行业产品报价数据、行业经济要闻、行业深度分析报告、参考文献和案例研究等；专题市场调研报告是各行业的深度分析报告；数据来源包括资讯商提供的数据，主要行业网站的信息采集等案例介绍1-中投数据中心截图案例介绍2-华泰证券数据中心建设1.建立公司统一的资讯数据中心2.实现港澳,巨灵等资讯数据的切换3.在资讯数据中心基础上开发知识管理平台.4.在资讯数据中心基础上开发VIP服务终端.5.为网站,风控系统,CRM等系统提供统一的资讯服务.案例介绍2-华泰证券数据中心建设案例介绍2-VIP客户资讯服务券商名称券商名称项项目名称目名称说说明明国泰君安智博汇交易用户差异化资讯服务中信金通投资顾问服务平台客户经理工作平台，并对客户提供差异化服务中信万通理财通给客户经理及资产20万以上（分级）用户提供差异化服务光大证券金阳光建立客户级别升降机制，对不同级别用户提供差异化资讯服务中信证券核心客户资讯服务平台为资产在100万以上用户及客户经理提供此资讯服务平台申银万国精英会2万名核心客户及分析师案例介绍2-VIP客户资讯服务（续1）案例介绍2-VIP客户资讯服务（续2）基础资讯基础资讯研究报告研究报告自编信息自编信息CRM交易数据交易数据先集中（数据集中）先集中（数据集中）应用接口开发（数据应用、数据管理）应用接口开发（数据应用、数据管理）差差 异异 化化 资资 讯讯 服服 务务目 录需求分析数据中心规划与设计数据中心技术方案港澳资讯优势分析港澳资讯优势分析 典型案例介绍港澳资讯的优势公司实力公司的理念 数据+IT服务有专门的数据中心团队，持续服务能力产品线丰富，整合方便系统基于oracle+java+linux/unix，安全稳定实施成功案例多优势分析-股东实力港澳资讯产业股份有限公司（港澳资讯产业股份有限公司（“港澳资讯港澳资讯”）是一家国内领先的金融）是一家国内领先的金融信息服务公司，为企业客户和投资者提供专业的财经信息服务以及技信息服务公司，为企业客户和投资者提供专业的财经信息服务以及技术解决方案。

术解决方案v 公司成立于公司成立于19941994年年6 6月，是国内最早的金融证券资讯服务商之一；月，是国内最早的金融证券资讯服务商之一；v 20002000年获证监会投资咨询资格；年获证监会投资咨询资格；v 20012001年年7 7月改制为股份制公司；月改制为股份制公司；v 20072007年年8 8月大股东变更为新华都实业集团股份有限公司，原微软中月大股东变更为新华都实业集团股份有限公司，原微软中国总裁唐骏先生担任董事长国总裁唐骏先生担任董事长优势分析-股东实力（续） 公司明确打造金融资讯以及IT技术研发两大核心竞争力在金融资讯方面保证数据库数据来源的合法、稳定并和相关的特供数据服务商如指南针等建立合作联盟；IT技术研发就是要加强金融服务机构个性化差异化服务实施的开发、维护能力，并已经和相关公司如中软、通达信、携宁等进行合作随着新华都的加入，公司会加强技术研发力量投入优势分析-数据库案例序号序号券商名称券商名称使用港澳使用港澳资讯资讯数据数据库库情况情况创创新新类类券商（券商（29家创新类券商的市场占有率约为家创新类券商的市场占有率约为59% ）01国泰君安证券股份有限公司gazx 3.002中银国际证券有限责任公司gazx 3.003国信证券有限责任公司gazx 3.004东方证券股份有限公司gazx 3.005海通证券股份有限公司gazx 3.006国元证券有限责任公司gazx 3.007长江证券有限责任公司gazx 3.008国都证券有限责任公司gazx 3.009上海证券有限责任公司gazx 3.010宏源证券股份有限公司gazx 3.011红塔证券股份有限公司gazx 3.012兴业证券股份有限公司gazx 3.013第一创业证券有限责任公司 gazx 3.014齐鲁证券有限责任公司 gazx 3.015山西证券有限责任公司 gazx 3.0(部分)16西部证券股份有限公司gazx 3.0(部分)17东海证券有限责任公司gazx 3.0(部分)优势分析-数据库案例（续）规规范范类。