用友培训课件：NC63全产品培训-商业分析与数据处理平台

yonyou software Co., Ltd.多级集团管控 全产业链协同 动态企业建模 大企业云平台NC63全产品培训 商业分析与数据处理 目录yonyou software Co., Ltd.课程目标与要求课程目标学习要求产品架构及功能概述产品解决方案V6.3新增功能及重点改进练习与思考题课程目标1、了解AE与BQ之间的关系，及AE整体框架2、可以完成实时数据集成（RDI）的整体配置3、可以使用查询数据集成（QDI）完成简单的ETL处理过程4、可以使用语义模型进行建模5、可以使用主题分析进行建模学习要求1、为保证学习效果，如需学习本课程，需先了解商业分析基本概念课程目标与要求目录yonyou software Co., Ltd.分析型数据库实时数据集成（RDI）查询数据集成（QDI）语义模型分析主题p AE数据处理架构产品架构及功能概述商业分析平台架构AE与BQ的关系AE架构展现层业务层查询分析层透视表透视图仪表板BCM人力供应链财务数据处理层SQL优化SMARTOLAP分析型DBRDIQDI目录yonyou software Co., Ltd.实时数据集成（RDI）查询数据集成（QDI）语义模型分析主题p 分析型数据库AE数据处理架构产品解决方案分析型数据库列式存储好在哪儿？存取快！省存储！分析型数据库行列存储IO对比行存储结构IO读取方式: 数据是按数据块读取 数据块中每行数据包含表的所有列 尽管查询只访问表中3个列，但所有100列都需要从磁盘读出 表列数越多，行存I/O效率就越低，性能越差 列存储IO技术: 表的每一列物理上分开存储 每一列是以数据包(DC)为单位组织的 只有访问查询所涉及的列产生IO 查询没有涉及的列不需要访问，不产生IO 表列数越多，列存I/O效率越高，越有性能优势行式数据库c5c4c3c2c1c9c8c7c6r1r2r3r4r5列式数据库c5c4c3c2c1c9c8c7c6r1r2r3r4r5行式数据库IO的有效数据1%-10%列式数据库IO的有效数据30%-90%表中的所有列自动建立索引，无需用户手去建立和维护智能索引与传统索引的比较索引本身占空间很少，扩展性很好，建立索引后无膨胀建立索引的速度快自适应压缩技术存储空间磁盘IOCache IO降低数据加载查询性能提升数值类型压缩示图能够按照数据类型和数据分布规律，自动选择最优压缩算法压缩比可以达到1:10到1:40压缩和解压过程对用户都是透明的银行案例银行征信中心l测试内容GBase 和产品O 的对比测试均部署在x86构架的硬件平台上测试现实业务场景下的数据加载、复杂查询等性能。GBase 8a产品O加载1.221.92（9.03）查询分析3.666.06数据处理4.537.43总计9.4115.41提升14%l测试结果银行案例某农商行l 测试目标功能方面：检验GBase 8a满足某农商行绩效考核系统功能的适用性。性能方面：通过执行典型的应用业务，验证产品是否能够满足客户业务方面的性能需求。l 测试内容数据加载性能、存储过程性能测试、即席查询性能测试。测试测试内容时间时间（秒）GBase 8a产产品D 数据加载7892723存储过程执行17042178即席查询1771152总计总计26706053l测试结果对比测试场景分析应用功能操作表记录记录数量级级销销售产产品年销销售对对比分析分析打开、维度穿透、维度钻取2千万、5千万、1亿客户户排名分析分析打开、维度穿透、维度钻取2千万、5千万、1亿畅销产畅销产 品价值值客户户分析分析打开、维度穿透、维度钻取2千万、5千万、1亿销销售年增长长分析分析打开、维度穿透、维度钻取2千万、5千万、1亿部门绩门绩效分析分析打开、维度穿透、维度钻取2千万、5千万、1亿畅销产畅销产 品销销售时间时间序列分析分析打开、维度穿透、维度钻取2千万、5千万、1亿对比测试结果列存擅长分析场景列存非擅长分析场景列存与行存存储空间比测试结果：1、在分析响应时间方面，GBase在其擅长的分析场景，GBase响应速度比Oracle快23倍，非擅长分析场景响应速度比Oracle稍快或接近2、在耗费存储空间方面，GBase发挥出了列存高压缩比的优势，Oracle占用存储空间比GBase高5倍左右列存数据库小结I/O 快高压缩比智能索引解决报表效率问题作为分析数据库目录yonyou software Co., Ltd.查询数据集成（QDI）语义模型分析主题p 实时数据集成（RDI）AE数据处理架构分析型数据库实时数据集成（RDI） 基于数据库日志的增量数据捕捉，不影响生产系统性能基于用友消息中间件的转发，确保传输数据的安全可靠 交易型数据源分析型DBDWODSQDIRDIDW业务报 表分析报表完成源端数据库与目标端数据库的实时数据同步RDI应用场景根据需求，设定同步时间间 隔，将业务库 的数据实时的同步到分析库，做实时的业务分析，例如销售报表等数据集成，即ETL过程可以直接用RDI同步过来的业务数据，而不需要再通过调度任务，去定时去抽取业务库 的数据RDI设置流程DB配置oracleDBA身份登录创建RDI用户授权RDI用户登录创建表和过程DBA手动操作DBA身份登录创建用户创建数据库用户DB创建GBASE环境登录console源端数据源目标端数据源表映射生产引擎消费引擎部署否否否否创建视图产品实现启动RDI数据库配置RDI 安装目录bin下，双击 rdiconfig.bat数据库配置三种选项，oracle可以做为源端和目标端，Gobase作为目标端源端和目标端需要单独配置以DBA身份登录创建视图创建RDI 用户授权RDI用户登录创建表和存储过程DBA手动操作Gbase作为目标端以DBA身份登录创建用户创建数据库创建目标端GBASE环境产品实现启动RDI console登录RDI 控制台在登录界面，需要首先输入链接地址，即启动RDI 控制台的服务器地址上次登录的地址会被记录下来，直接点击登录主界面RDI有两种形式进行配置：一种是通过向导，一种是通过新增菜单配置并完成部署之后，在左侧区域会显示出已经部署的服务源端数据源目标数据源表映射和同步数据表映射主要是完成了源端表和目标端表之间的映射关系同步包括同步表结构和同步表数据生产引擎属性生产引擎：负责按照其属性配置，从源端数据源分析日志，然后将日志结果按照过滤器进行匹配，之后发送到服务消息队列生产引擎过滤器过滤器将生产引擎分析所得到得事务按照表名规则进行匹配过滤，一个生产引擎可以设置多个过滤器，完成生产引擎的分发机制生产引擎分发机制消费引擎部署之后邮件调度的结果可以通过邮件发送到指定邮箱，以便于对调度的监控需要指定服务器，以及用户名和密码新增调度调度可以支持三种：全表对比，执行DDL和执行DML增加调度配置增加表对比脚本执行调度生产引擎执行状态消费引擎的执行状态RDI小结实时数据同步业务分析报表数据集成ETLGBbase目录yonyou software Co., Ltd.AE数据处理架构分析型数据库实时数据集成（RDI）p 查询数据集成（QDI）语义模型分析主题QDI数据集成（Data Integration，DI）是一种基于查询结果集，对其进行清理和持久化的过程。可将来自不同数据源的查询结果数据按照定制的处理流程进行转换、清洗，并最终持久化到指定的目标数据源中应用场景业务数据多维报表展示ETL ？QDI产品实现设计器介绍job作业：业务 流程的控制task任务：数据流程的控制trans转换 ：具体的数据处理转换器的介绍Excel输入可以从Excel表中读取数据SQL脚本通过手工SQL脚本来加载数据元定义可以直接把语义模型，语义元数据，数据字典作为数据来源日期生成根据指定的起始和结束日期，以及格式，生成之间的所有数据。唯一根据指定的列，对结果集数据进行唯一性过滤。展平根据编码列和编码规则，对指定的列进行展平序列提供自增序列，可指定步长，起始值等查询可以对输入的数据设置关联条件，并添加过滤筛选等条件合并针对多个输入的结果集纵向合并过滤根据指定的规则对结果集进行过滤目标表用于目标表的表明，数据源等。产品实现例子：1.元定义作为表输入2.基于表输入的数据进行过滤3.将过滤结果输入到目标表中元定义输入元定义输入元定义输入过滤表输出创建语义元数据表输出引用语义元数据基础服务-脚本引擎基础服务元数据管理新建语义元数据运行作业，可以运行监控执行状态监控执行状态监控作业管理作业管理集群调度管理集群调度管理QDI小结调度转换器SQL脚本ETL 工具集群管理执行监控目录yonyou software Co., Ltd.AE数据处理架构分析型数据库实时数据集成（RDI）查询数据集成（QDI）p 语义模型分析主题语义模型语义模型把面向技术的数据，组织成面向业务的数据，供业务人员查询分析使用应用场景直接基于语义模型做相关报表，例如自由报表基于语义模型做多维分析模型基于语义模型做数据集成模型建模流程选择表连接条件选择字段过滤条件物化策略其他选项完成产品实现语义模型语义模型设计器元数据元定义语义脚本语义脚本数据加工语义模型提供的一类取数方式，支持用户使用java代码来定义一段取数逻辑业务数据业务数据当有很复杂的逻辑的时候，自己封装业务类放到nchomeresorcesmartsmart_tbb.xml连接条件选择字段选择字段描述器选项物化策略物化策略物化策略语义模型执行语义模型执行结果批量修改数据源结构概览结构概览业务扩展业务扩展自由报表-基于语义模型语义模型小结5步创建4种预置提供者扩展提供者和业务自由报表分析主题数据集成语义模型查询模型场景目录yonyou software Co., Ltd.AE数据处理架构分析型数据库实时数据集成（RDI）查询数据集成（QDI）语义模型p 分析主题应用场景产品实现概念介绍分析主题schema分析主题是对业务内容相似的一到多个分析模型的统称，由一组多维数据集和共享维度组成多维结果集cube多维立方体是分析引擎的数据模型，由多个维度构成的立方体架构，就像一个坐标系，每一个维度代表一个坐标系，坐标系的交点就是一个指标/计算成员维度dimension 维度提供了分类描述，表示一类分析角度，用户通过维度分析度量数据层次hierarchy每个维度可以包含一个或多个层次，层次是对级别的分类。例如时间维度，年月日，年季月等。一般情况下，一个维度设定一个层次即可级别level级别是维度在细节程度不同的各个描述方面，例如时间维度，年是一个级别，月是一个级别等指标measure是一组值，这些值基于多维数据集的事实表中的一列，是事实发生的数据，而且通常为数字。如销售额，销售数量计算成员计算成员是一种运行时通过特殊表达式动态计算的成员，一直特殊的指标分析函数分析函数是一种基于MDX语言的函数，可以应对某些高级功能和特定的场景，包括财务，统计，时序，常规四类新增分析主题分析主题属性主题设计分析主题设计器添加多维数据集（cube）选择元定义新增cube之后界面添加维度选择元定义设置级别列设置级别显示列设置级别类型设置主键设置外键添加级别选择列和显示列2个级别的维度完成父项列和级次编码pkcodenamepcodep11a2p22bp33c2p44d2codename01a0101b010101c2-2-2增加时间维度时间维度向导定义时间属性选择日历填写维度信息设置维度外键创建共享维度选择元定义创建完成创建引用维度选择源维度设置维度外键创建完成添加指标组设置指标组标识添加指标设置指标属性列设置聚合类型格式化字符串格式化实现类指标完成添加计算成员设置公式编辑公式计算成员完成主题概览透视表设计-基于主题分析透视表效果图分析主题小结时间维度自动扩展格式化字符串格式化实现类父子维度透视表级次编码分析主题多维立方体透视图yonyou software Co., Ltd.多级集团管控 全产业链协同 动态企业建模 大企业云平台大型企业管理与电子商务平台