Sybase_Sun数据仓库参考架构-1PB
22页1、性能测试报告数据仓库参考架构包含结构化和非结构化数据PB级数据仓库使用Solaris 10 OS, Sybase IQ 与 BMMsoft DataFusion 应Sun公司的邀请,InfoSizing于2007年7月对Sun 数据仓库参考架构的加载及性能进行了验证,Sun数据仓库参考架构使用Solaris 10操作系统、Sybase IQ、BMMsoft DataFushion,搭建于加州Menlo Park,Sun企业技术中心(ETC),我们定义并检测了一组基准测试。该数据库的装载容量达到了破记录的1PB原始数据,它总共包含6万亿行交易数据,超过1亿8千5百万文本查询类文档,比如电子邮件、报表、电子表格以及其他多媒体对象。本次基准测试使用了容量空前的交易数据,描述了一个真实世界的场景全球金融交易网络中所产生的交易。将这些交易数据与相应的代表50万金融交易人之间电子通讯的多媒体文档进行合并。本次基准测试环境的配置,数据仓库的装载以及性能测试的执行均由InfoSizing独立验证,并对测试结果进行收集与分析。所附报告是一份关于此次测试的容量与性能结果的独立证明。此致总裁性能测试报告Su
2、n 数据仓库参考架构使用 Solaris 10操作系统,Sybase IQ,BMMsoft DataFusion执行摘要 Sun 数据仓库参考架构,使用Solaris 10操作系统,Sybase IQ分析型服务器以及BMMsoft DataFusion,配置了一台Sun SPARC 技术的Enterprise M9000服务器,带有三个Sun StorageTek 6540阵列,取得了如下具有重要意义的成就: 加载了1PB的原始数据(6万亿行股票交易记录),存于一个全面索引化的星型模型中;建立了一个全新的经独立验证的全球最大的数据仓库记录。 达到了 每天2850亿行的加载速度(每秒300万行),整个数据装载过程持续了3周多的时间。 仅仅需要不到2秒的数据就绪时间,新加载的数据即可被数据仓库使用。 用超过72TB的EDM数据(Email/电子邮件,Documents/文本,Multimedia/多媒体)替代一半的T(交易)数据,建立一个装载有572TB原始“EDMT”数据的数据仓库。 当使用1亿8千5百万文档(电子邮件,附件与其他非结构化文档)装载数据仓库时,加载速度达到每天26TB。
3、电子邮件加载速率达到每小时2百万封,文档加载速率达到每小时6百万份,仅仅消耗不到7的CPU,而M9000其余93的CPU可用作他途。 显著减少所需存储磁盘空间,将其直接转换为CO2排放量,则在由Solaris 10操作系统、Sybase IQ、BMMsoft DataFushion构建的数据仓库参考架构之生命期内,可减少CO2排放量高达90以上。配置说明Sun数据仓库参考架构所使用的“生产级”的环境包括:一个单节点的Sun SPARC技术Enterprise M9000服务器,运行Solaris 10操作系统,与3台Sun StorageTek 6540存储阵列相连,使用光纤通道,并使用Sybase IQ12.7作为数据库平台。下图显示了该参考架构平台的具体配置:内存分配 Sybase IQ写节点运行于64核之上(总共128个线程),分配有大约100GB的主内存。 大约45GB的主内存用于Sybase IQ加载过程,作为数据库装载期间输入数据文件的缓冲。 BMMsoft DataFushion加载服务器运行于64核之上(总共128个线程),分配有大约90GB内存,其中50GB用于对Sy
4、base IQ的支持,40GB由DataFushion单独使用。 大约20GB主内存分配给Solaris 10,用于优化交换(Swapping)与页面(paging)增长到1PB创建数据库Sun 数据仓库参考架构使用一个星型模型建立,大约100个事实表,装载有真实的描述股票交易状况的T(交易)数据。6个维表被装载,提供一个宽范围的表基数(从5行到接近400万行)。下表列出了维表的装载情况。维表行数装载事实表在Sybase IQ中,创建了100个事实表。每个表大约装载了120多个加载单元,如下表所示:加载单元_输入数据文件原始文件大小字节102,814,873,296记录数百万508记录宽度列18分隔符大小(Size of Delimiters)字节9,146,722,464带分隔符的大小(Size with Delimiters)GB95.8纯数据大小GB87.2一组真实世界的交易数据被当作模板,用以在每个加载单元里合成性的创建数据。保证生成的数据仓库的分配、基数、数据相关性能够代表一个真实世界的生产环境。实现PB级规模的里程碑100个事实表的装载大约用了6周的时间,其中一半的时间用于
《Sybase_Sun数据仓库参考架构-1PB》由会员苏****分享,可在线阅读,更多相关《Sybase_Sun数据仓库参考架构-1PB》请在金锄头文库上搜索。
《组织能力的突破:从杨三角看领先企业成功之道》杨国安
2022年第一季度人力资源关键指标专项调研报告
《全球中小微企业在疫情后时代的挑战、应对与转型》
个人信用信息基础数据库数据接口规范
CFCA统一的电子商务安全网上支付平台-系统安装指南
1104工程培训资料_模块09_信用风险分析
基础数据平台作业调度监控系统详细设计说明书
中小企业信贷系统用户需求规格说明书_合同管理
信贷统计监测数据系统详细设计说明书
非现场监管报表指标体系(金融机构法人机构适用)基础报表、特色报表填报说明
经营分析系统用户ETL测试计划书(ABIS部分)
经营分析系统工作汇报
Unix系统知识培训
经营分析系统测试大纲(ELT案例)
经营分析系统测试案例(OLAP案例)
顺义新城林河南大街配套工程实施方案
银行卡统计分析系统详细设计说明书(前台)
银行卡统计分析系统多维应用服务器安装部署
银行卡统计分析系统数据准确性测试案例
银行卡统计分析系统报表数据准确性测试案例
2023-05-19 5页
2023-05-19 13页
2023-05-19 4页
2023-05-19 12页
2023-05-19 10页
2023-05-19 4页
2023-05-19 4页
2023-05-19 4页
2023-05-19 1页
2023-05-19 39页