深挖掘速决策促转型.ppt

深挖掘、速决策、促转型卢东明技术总监，赛贝斯软件（中国）有限公司Sybase – 17 September 2024你知道的，你不知道的你知道的，你不知道的突破BreakthroughSybase – 17 September 2024世界强国变迁的历史世界强国变迁的历史Sybase – 17 September 2024英国的时代是工业革命的时代英国的时代是工业革命的时代1765年瓦特发明蒸汽机煤矿开采1768年阿克莱特发明水力纺织机钢铁业司法金融业1784年卡特莱特发明了动力纺织机 Sybase – 17 September 2024美国的时代是电气美国的时代是电气/ /电子化的时代电子化的时代1876年费城世博会贝尔展出机1915年旧金山世博会福特汽车的汽车生产线，每10分钟有一辆汽车下线贝尔开通了洲际……两次世界大战渔翁得利开放的移民政策引入大量高质量人才华尔街的金融业优秀的教育业强大的军事实力20世纪90年代蓬勃发展的IT行业Sybase – 17 September 20242121世纪将是什么时代呢世纪将是什么时代呢•21世纪是中国的世纪•也是信息科技的时代•信息科技的发展给了从未想过的手段去了解“你知道你不知道的”和“你不知道你不知道的”•也会面对前所未有的挑战！Sybase – 17 September 202420082008，，19871987，，19291929危机之后三个月危机之后三个月Sybase – 17 September 202420082008，，19871987，，19291929危机之后六个月危机之后六个月Sybase – 17 September 202420082008，，19871987，，19291929危机之后五年危机之后五年Sybase – 17 September 2024从从““你知道你不知道你知道你不知道””开始突破开始突破Sybase – 17 September 2024从数据中分析规律从数据中分析规律交易规则IFAMD price moves outside 2% of AMD-15-minute-VWAPFOLLOWED-BY (S&P moving by 0.5%AND (AMD’s price moves up by 5%ORINTEL’s price moves down by 2%))ALL WITHIN any 2 minute time periodTHENBUY INTELSELL AMDAMD•海量数据分析•实时事件处理AMDSybase – 17 September 2024令人惊讶的数据量令人惊讶的数据量NASDAQ 2975+ NYSE 2844 各大交易所的股票数目 + AMEX 894+ OTCBB 1219 + Pink Sheets 1834Total 9766股票 9,766X 价格波动/分 30可供分析数据量 X 数据点/波动 46万亿条股票交易信息 X 每天7个小时 420X 交易日/年 250X 年数 50 可供分析的数据值 6,000,000,000,000Sybase – 17 September 2024呼唤突破性的技术呼唤突破性的技术OLTP OLTP 交易业务交易业务OLAP OLAP 分析系统分析系统传统行式数据库传统行式数据库内存数据库内存数据库更多事务处理更多事务处理列式数据库列式数据库更大量数据的复杂分析，更大量数据的复杂分析，随机的实时分析随机的实时分析Sybase – 17 September 2024列式数据库是革命性的列式数据库是革命性的传统行式数据库传统行式数据库c5c4c3c2c1…c9c8c7c6r1r2r3r4r5列式数据库列式数据库c5c4c3c2c1…c9c8c7c6r1r2r3r4r5§数据按列存储数据按列存储 – – 每一列单独存放每一列单独存放§数据即是索引数据即是索引§只访问查询涉及的列只访问查询涉及的列 – – 大量降低系统大量降低系统IOIO§每一列由一个线索来处理每一列由一个线索来处理 – – 查询的并发处理查询的并发处理§数据类型一致，数据特征相似数据类型一致，数据特征相似 – – 方便压缩方便压缩§数据是按行存储的数据是按行存储的§没有索引的查询使用大量没有索引的查询使用大量I/OI/O§建立索引和物化视图需要花费大量时间和资源建立索引和物化视图需要花费大量时间和资源§面对查询的需求，数据库必须被大量膨胀才能满面对查询的需求，数据库必须被大量膨胀才能满足性能要求足性能要求Sybase – 17 September 2024使用列式数据库使用列式数据库•多：1 PB 股票交易数据 (6万亿条股票报价) •快：2850亿行/天 (300万行/秒)•杂：非结构化数据： 26 TB/天•小：在IQ里压缩成159 TB•便宜：低端存储，价格成倍下降•压缩比：压缩比：倍倍•相比行式数据库可能是六分之一的空间几十分之一的代价Sybase – 17 September 2024列式数据库列式数据库 vs. vs. 行式数据库行式数据库行式数据行式数据库库列式数据列式数据库库比率比率( (倍）倍）5000万条纪录带索引加载7111.33”265”26.81亿条纪录带索引加载14463.8”1161.44”12.5数据存储总占用空间183.51(G)27.5(G) 6.7测试大表count、sum聚合操作,排序30’57.24”7’34”4.1测试利用索引过滤纪录后对大基数字段group by ,sum操作3’32.54”1’33.3”2.3测试大表count、sum聚合操作10’50.37”4’23.87”2.5测试利用索引过滤纪录后对小基数字段group by ,sum操作13.65”1.27”13.8子表操作30’57.24”7’34”4.1Sybase – 17 September 2024列式数据库列式数据库(Column Database)(Column Database)的潮的潮流流1.Google的Bigtable, Yahoo的解决方案基于PostgreSQL2.Sybase IQ: 第一个也是最成熟的列式数据库–1994/10, Sybase收购了Expressway Technologies–最初的名字是“IQ Accelerator”–2009年推出的Sybase IQ15版有多项创新科技3.其他新兴创业公司: Vertica (创始人 Michael Stonebreaker, Ingres和PostgreSQL的创始人)， SAND，ClearpaceSybase – 17 September 2024§尼尔森媒体研究尼尔森媒体研究: : 5020亿条数据(2005年全球第一名) -- 15年的收视数据§美国税务局美国税务局(IRS): (IRS): 全美国所有报税人7年报税记录(及原始文档) (15亿条记录)§花旗银行花旗银行: : Sybase IQ保存6年所有交易记录，HR数据及文档§联邦快递联邦快递(FedExFedEx) ): : 全球所有送递品的海关报关单§中国农业银行中国农业银行：“银行卡统计分析系统” 获得世界IT精英组织（COMPUTERWORLD HONORS PROGRAM —— 计算机世界荣誉奖励计划，简称CHP）授予“2008年Computerworld荣誉桂冠” §铁道部：铁道部：客票系统分析§中国移动：中国移动：短信/彩信统计分析，报表系统列式数据库的用户列式数据库的用户Sybase – 17 September 2024深挖掘，速决策，促转型深挖掘，速决策，促转型•21世纪是中国的世纪•也是信息科技的时代•信息科技的发展提供了突破的手段•企业的成功转型奠定21世纪的发展方向Sybase – 17 September 2024愿携手中国企业抓住机遇。