C数据分析BI介绍实用实用教案.ppt

1 -1、、效率问题效率问题效率问题效率问题：：：：运算效率、执行效率是否有保证，比如在数百万记录的原始数据运算效率、执行效率是否有保证，比如在数百万记录的原始数据 量或大运算量情况下，用户需要等待多久量或大运算量情况下，用户需要等待多久2、、功能问题功能问题功能问题功能问题：：：：对复杂报表的支持程度怎样，并且能否很方便地进行复杂运对复杂报表的支持程度怎样，并且能否很方便地进行复杂运算和算和 定义展现定义展现3、、实用问题实用问题实用问题实用问题：：：：数据分析模型实用性如何，操作界面是否足够友好便于非专业人数据分析模型实用性如何，操作界面是否足够友好便于非专业人 士使用，能否为实际的业务分析提供数据支持士使用，能否为实际的业务分析提供数据支持第1页/共46页第一页，共47页- 2 -Max@X￿Analyser￿结构结构( jiégòu)组成及功能组成及功能第2页/共46页第二页，共47页- 3 -报表浏览报表浏览数据库数据库信息门户信息门户OLAPOLAP引擎引擎报表引擎报表引擎数据库数据库连接池连接池业务系统业务系统第3页/共46页第三页，共47页。

- 4 -报表浏览报表浏览数据库数据库OLAPOLAP引擎引擎报表引擎报表引擎业务系统业务系统业务应用业务应用程序程序业务控制业务控制程序程序第4页/共46页第四页，共47页- 5 -•Windows、Linux、Unix……•MS SQL、Oracle、SysBase、DB2……•Java和VS.NET•包括对操作系统(cāo zuò xì tǒnɡ)、数据库、集成语言的适应对环境对环境(huánjìng)(huánjìng)的适应能力的适应能力•包括对调阅(diào yuè)模式、导出类型应用的适应对应用的适应能力对应用的适应能力•以报表浏览器的形式调阅，以便获得最大限度的数据应用•以纯HTML、PDF、EXCEL、JPG等形式调阅报表，通过服务器实时生成上述文件供阅读者浏览或下载第5页/共46页第五页，共47页- 6 -•数据(shùjù)库数据(shùjù)传统产品传统产品(chǎnpǐn)(chǎnpǐn)的数据来源的数据来源•数据(shùjù)库数据(shùjù)•文件数据(shùjù)•应用程序数据(shùjù)集数据分析的数据来源数据分析的数据来源第6页/共46页第六页，共47页。

- 7 -大数据报表大数据报表大数据报表大数据报表：：：：无论多大的原始数据量，无论多大的原始数据量，5 5秒秒之内，报表展现！之内，报表展现！OLAPOLAPOLAPOLAP分析分析分析分析：：：：在千万记录级的应用场景下，浏览端在千万记录级的应用场景下，浏览端1010秒秒之内之内CubeCube装载完成，开始显示装载完成，开始显示第7页/共46页第七页，共47页- 8 -数据库数据库报表服务器报表服务器报表浏览报表浏览分包报表流分包数据流第8页/共46页第八页，共47页- 9 -数据库数据库数据库数据库数据源数据源数据源数据源数据源数据源数据源数据源内置内置SQLSQL引引擎擎虚拟数据源虚拟数据源报表报表第9页/共46页第九页，共47页- 10-Max@X Analyser 支持(zhīchí)多数据库同步连接原始(yuánshǐ)原始数据源，可以内置引擎(yǐnqíng)以SQL标准进行关联运算内置引擎SQL创建窗口第10页/共46页第十页，共47页- 11-数据源之间存在关联运算需求数据源之间存在关联运算需求数据源之间存在关联运算需求数据源之间存在关联运算需求：：：： 基于基于SQLSQL机制的虚拟数据源模式是最具效率的解决模型。

机制的虚拟数据源模式是最具效率的解决模型数据源之间存在跨域计算需求数据源之间存在跨域计算需求数据源之间存在跨域计算需求数据源之间存在跨域计算需求：：：： 基于报表多数据源机制的运算模型是最适合的基于报表多数据源机制的运算模型是最适合的第11页/共46页第十一页，共47页- 12-数据链报表(bàobiǎo)第12页/共46页第十二页，共47页- 13-只建立用户感兴趣的数据只建立用户感兴趣的数据第13页/共46页第十三页，共47页- 14-动态(dòngtài)数据库指令第14页/共46页第十四页，共47页- 15-根据中间运算结果，只请求必须的数据根据中间运算结果，只请求必须的数据根据中间运算结果，只请求必须的数据根据中间运算结果，只请求必须的数据将更多的运算让数据库服务器完成将更多的运算让数据库服务器完成将更多的运算让数据库服务器完成将更多的运算让数据库服务器完成第15页/共46页第十五页，共47页- 16-报表(bàobiǎo)预编译设置第16页/共46页第十六页，共47页- 17-九套常规九套常规(chángguī)模型模型1、、列表列表列表列表/ / / /不规则报表不规则报表不规则报表不规则报表3、、分组报表分组报表分组报表分组报表2、、主从报表主从报表主从报表主从报表9、、数据提交报表数据提交报表数据提交报表数据提交报表5、、图形报表图形报表图形报表图形报表4、、嵌套报表嵌套报表嵌套报表嵌套报表7、、分栏报表分栏报表分栏报表分栏报表6、、交叉报表交叉报表交叉报表交叉报表8、、套打报表套打报表套打报表套打报表第17页/共46页第十七页，共47页。

- 18-所以，报表能否普遍满足各类复杂表样的关键，所以，报表能否普遍满足各类复杂表样的关键，在于在于(zàiyú)两个方面：两个方面：报表的本质是什么：报表的本质是什么：报表的本质是什么：报表的本质是什么：报表是指定报表是指定报表是指定报表是指定(zhǐdìng)(zhǐdìng)数据在页数据在页数据在页数据在页面上的指定面上的指定面上的指定面上的指定(zhǐdìng)(zhǐdìng)表现形式表现形式表现形式表现形式复杂(fùzá)目标适应能力对数据的控制能力对表现的控制能力第18页/共46页第十八页，共47页- 19-每列不同色彩的数据，来源于不同数据源，根据(gēnjù)左侧黑白表头的数据循环同步循环展现第19页/共46页第十九页，共47页- 20-说明：说明：1、报表原始数据为所有订单信息报表原始数据为所有订单信息2、针对原始信息的每列运算模式都完全、针对原始信息的每列运算模式都完全(wánquán)不同，运算结果含义也完全不同，运算结果含义也完全(wánquán)不同3、在本报表中，使用数据源内置引擎对数据按不同规则进行分组计算在本报表中，使用数据源内置引擎对数据按不同规则进行分组计算。

注意红色部分，这种根据数据(shùjù)排序多次定位的文本处理需求，在传统报表工具中很难实现第20页/共46页第二十页，共47页- 21-在服务器监控台中，可观察到报表动态创建提交(tíjiāo)的数据库指令第21页/共46页第二十一页，共47页- 22-1、获得基本原始数据，或者用户指令、获得基本原始数据，或者用户指令2、根据运算结果或用户指令，按预定义逻辑判断需要获得的数据、根据运算结果或用户指令，按预定义逻辑判断需要获得的数据3、根据数据需求，动态创建当前数据期期望所需求的、根据数据需求，动态创建当前数据期期望所需求的SQL语句语句4、实时向数据库提交动态创建的、实时向数据库提交动态创建的SQL，获取数据并进行下一步运算，获取数据并进行下一步运算5、根据运算结果，如需继续触发动态数据库指令机制，重复、根据运算结果，如需继续触发动态数据库指令机制，重复3-5步骤步骤第22页/共46页第二十二页，共47页- 23-序号序号模式模式(móshì)(móshì)特征特征(tèzhēng)(tèzhēng)内容内容传统(chuántǒng)工具设计模式1设计模式2报表页面的输出，将中每一个设计部件及其衍生显示，作为一个个独立的对象进行控制，每一个对象具有自身唯一的命名和属性特征。

通过修改这些属性，我们可以在一般逻辑之外，对指定对象进行特性设定 页面输出是以绘制点阵方式输出，无法针对某个显示区域进行局部刷新第23页/共46页第二十三页，共47页- 24-传统方式下的报表按照自上而下的顺序生成如果需要在报表上部显示此后部分数据的运算结果的话，往往(wǎngwǎng)需要额外的设计处理弊端(bì duān)：1、如采用在数据源进行预先处理的话，无疑会加重数据库服务器的负担，同时(tóngshí)也 增加了数据源设计的复杂度 2、如果在内存中进行预处理的话，一旦面临大数据量情况，极可能导致内存溢出 或者需要长时间耐心等待3、报表一旦生成，当前显示将无法根据用户在报表中的操作再次做局部调整第24页/共46页第二十四页，共47页- 25-基于“对象实例化”的模型，可以在报表生成(shēnɡ chénɡ)过程中，对已生成(shēnɡ chénɡ)部分进行逆向刷新 实实例例化化对对象象，，可可在在报报表表生生成成后后点点击击控控制制当当前前行行数数据据是是否否(shì fǒu)纳纳入入运运算算选选择择范范围围根根据据左左侧侧(zuǒ cè)选选择择对对象象，，进进行行汇汇总总计计算算，，并并动动态态刷刷新新上上部部文文本本框框显显示示。

第25页/共46页第二十五页，共47页- 26-所有报表工具都可以支持数据源的顺序、逆序排序，并按这个顺序加以显示所有报表工具都可以支持数据源的顺序、逆序排序，并按这个顺序加以显示但是但是(dànshì)(dànshì)，自有极少数高端产品支持数据的指定顺序显示自有极少数高端产品支持数据的指定顺序显示数据源按产品(chǎnpǐn)大类顺序显示数据源按产品(chǎnpǐn)大类逆序显示数据源指定部分产品大类个性化顺序显示第26页/共46页第二十六页，共47页- 27-显示(xiǎnshì)顺序的个性化设定第27页/共46页第二十七页，共47页- 28-所有的成熟报表所有的成熟报表(bàobiǎo)(bàobiǎo)产品都具有图表功能，产品优势：产品都具有图表功能，产品优势： 1、样式丰富：提供了、样式丰富：提供了70多大类、多大类、300多种图表样式，包括了从柱状、折线、甘特、多种图表样式，包括了从柱状、折线、甘特、饼型等通用图表到蜡烛、容量、漏斗饼型等通用图表到蜡烛、容量、漏斗(lòudǒu)等专业图表等专业图表2、多数据源样式叠加：支持在同一图表中对比、多数据源样式叠加：支持在同一图表中对比(duìbǐ)展现多个不同数据源数据，并可以展现多个不同数据源数据，并可以不同不同 样式进行表现。

样式进行表现3、、自动分组自动分组自动分组自动分组：：：：支持图表的自动分组，可在图表中设置对数据源的分组运算，并将支持图表的自动分组，可在图表中设置对数据源的分组运算，并将不同不同 分组同坐标区分对比显示分组同坐标区分对比显示第28页/共46页第二十八页，共47页- 29-根据(gēnjù)单数据源分组计算自动创建多图叠加使用(shǐyòng)多个数据源，创建多图对比效果第29页/共46页第二十九页，共47页- 30-这种需要类似甘特图与表格这种需要类似甘特图与表格混排的样式，传统产品以及混排的样式，传统产品以及表格元素表格元素(yuán sù)设计模式设计模式产品，是无法支持的产品，是无法支持的第30页/共46页第三十页，共47页- 31-OLAP是什么是什么(shén me)？？123多维视图：在原始关系型数据多维视图：在原始关系型数据(shùjù)的结构基础上加以整合，形成可从多视角观察的数据的结构基础上加以整合，形成可从多视角观察的数据(shùjù)模型模型数据切片数据切片(qiē piàn)：将多维度交叉数据，在指定维度范围内提取并观察：将多维度交叉数据，在指定维度范围内提取并观察数据钻取：数据钻取：在多维数据结构上，逐层设定细分维度，并根据需求树型下钻详细数据OLAP OLAP 是一种基于多维数据的分析模型是一种基于多维数据的分析模型第31页/共46页第三十一页，共47页。

- 32-用维的方法用维的方法(fāngfǎ)(fāngfǎ)观察数据：观察数据： 产品大类、时间、销售区域、销售模式等产品大类、时间、销售区域、销售模式等 数据模型等同于业务模型数据模型等同于业务模型销售(xiāoshòu)分析产品(chǎnpǐn)大类 时间销售区域销售模式……珠宝类服装类珠宝类01年02年03年华东区华南区华北区直销渠道终端………………第32页/共46页第三十二页，共47页- 33-销售地区产品分类时间华东区浙江省杭州市温州市嘉兴市江苏省考察一个特定的维地区维，包括每一个地区到各省份、行政(xíngzhèng)市的销售数据钻取到下面的层次来考察详细情况第33页/共46页第三十三页，共47页- 34-按不同顺序组织各个维，对结果进行考察销售地区产品分类时间时间销售地区产品分类第34页/共46页第三十四页，共47页- 35-钻取到各个维地区、省份、行政市销售模式、产品(chǎnpǐn)类型、产品(chǎnpǐn)销售(xiāoshòu)分析销售(xiāoshòu)地区销售模式时间客户……华东区华北区华南区直销分销01年02年03年………………………………浙江省江苏省……第35页/共46页第三十五页，共47页。

- 36-用切片的方法(fāngfǎ)从不同角度观察时间产品类型销售模式时间销售模式产品类型2001年每类产品对应于各种销售模式的销售情况每类产品对应于直销模式的每个年度的销售情况第36页/共46页第三十六页，共47页- 37-OLAPOLAP是完全面向分析设计的数据表现模型在应用模式、效率构架、数据模型等方面是完全面向分析设计的数据表现模型在应用模式、效率构架、数据模型等方面均作了大量改进均作了大量改进(gǎijìn)(gǎijìn)和创新 重点表现在如下方面：重点表现在如下方面：可缩放的可缩放的维度设计维度设计内置推内置推测算法测算法最高支持最高支持244244个个维数据指标和维数据指标和10241024个分析数个分析数据指标据指标 数据数据CubeCube的的增量更新增量更新 最为便捷最为便捷的排序设的排序设定定 数据多种数据多种计算表现计算表现形式形式 第37页/共46页第三十七页，共47页- 38-这种呈树型结构索引分析数据，逐层递进至关键细节目标，完全符合人类思维逻辑，使分析更全面、透彻，更易发现潜在信息 第38页/共46页第三十八页，共47页- 39-1 1简单移动平均法简单移动平均法 2 2加权移动平均法加权移动平均法 3 3双重指数平滑法双重指数平滑法 4 4三重指数平滑法三重指数平滑法 5 5数据极限显示数据极限显示 6 6首末位显示首末位显示 第39页/共46页第三十九页，共47页。

- 40-最高支持1024个分析数据最高支持244个分析指标 第40页/共46页第四十页，共47页- 41-1、、传统方式下：传统方式下：传统方式下：传统方式下：一旦统计数据发生更新，比如数据库增加了新的数据，要对包含新一旦统计数据发生更新，比如数据库增加了新的数据，要对包含新 数据部分信息进行数据部分信息进行OLAPOLAP统计的话，需要重新创建统计的话，需要重新创建CubeCube 2、、现实中：现实中：现实中：现实中：大多数情况下，分析对象自身原数据量非常大（比如本年度前大多数情况下，分析对象自身原数据量非常大（比如本年度前1111个月的个月的 订单数据），而仅有少量数据发生变更（比如本月的订单数据），这种模式的效订单数据），而仅有少量数据发生变更（比如本月的订单数据），这种模式的效 率无疑是非常低下的率无疑是非常低下的 2、、创新的创新的CubeCube增量更新，无需重新生成增量更新，无需重新生成CubeCube，而是基于原有数据，而是基于原有数据 CubeCube，将新数据追加计算生成新的，将新数据追加计算生成新的CubeCube，从而降低服务器负荷，并满足一般统计，从而降低服务器负荷，并满足一般统计 中的实时更新需求中的实时更新需求 。

第41页/共46页第四十一页，共47页- 42-点击排序按钮，可直接设数据排序按照该维度数值执行 第42页/共46页第四十二页，共47页- 43-OLAPOLAP是一个多维交叉计算的数学模型，除了计算汇总、平均、极值等一般计是一个多维交叉计算的数学模型，除了计算汇总、平均、极值等一般计算外，还可以根据算外，还可以根据(gēnjù)(gēnjù)生成环境的其它数据，进行如下追加计算显示：生成环境的其它数据，进行如下追加计算显示： 1 1按列计算百分比按列计算百分比 2 2按行计算百分比按行计算百分比 3 3按列统计名次按列统计名次 6 6与前一行差额与前一行差额 7 7与前一列之和与前一列之和 8 8与前一行之和与前一行之和 4 4按行统计名次按行统计名次 5 5与前一列差额与前一列差额 9 9列合计列合计 1010行合计行合计 第43页/共46页第四十三页，共47页- 44-如前所述，数据分析的优势并非体现在几个具体的功能点上，而是以一种如前所述，数据分析的优势并非体现在几个具体的功能点上，而是以一种(yī zhǒnɡ)(yī zhǒnɡ)优化的、可扩展的设计模型，来获得对复优化的、可扩展的设计模型，来获得对复杂应用的全面支持。

杂应用的全面支持相信随着对数据分析的进一步深入了解，您会感觉到越来越广泛的应用空间相信随着对数据分析的进一步深入了解，您会感觉到越来越广泛的应用空间第44页/共46页第四十四页，共47页第45页/共46页第四十五页，共47页感谢您的欣赏(xīnshǎng)！第46页/共46页第四十六页，共47页内容(nèiróng)总结- 1 -OLAP分析：在千万记录级的应用场景下，浏览端10秒之内Cube装载完成，开始显示效率问题-效率表现基于 “流” 的报表处理模式-效率优化技术（一）2、针对原始信息的每列运算模式都完全不同，运算结果含义也完全不同注意红色部分(bù fen)，这种根据数据排序多次定位的文本处理需求，在传统报表工具中很难实现页面输出是以绘制点阵方式输出，无法针对某个显示区域进行局部刷新感谢您的欣赏第四十七页，共47页。