DAT337-使用 SQL Server Integration Services 装载数....ppt

DAT 337DAT 337使用使用 SQL Server Integration SQL Server Integration Services Services 装载数据仓库装载数据仓库吕科吕科技术咨询顾问技术咨询顾问上海星移软件有限公司上海星移软件有限公司l l从源系统中抽取数据从源系统中抽取数据从源系统中抽取数据从源系统中抽取数据l l将数据转换为更适合将数据转换为更适合将数据转换为更适合将数据转换为更适合在在在在 OLAP OLAP 系统中使用系统中使用系统中使用系统中使用的格式的格式的格式的格式l l将数据装载到数据仓将数据装载到数据仓将数据装载到数据仓将数据装载到数据仓库或数据集市中库或数据集市中库或数据集市中库或数据集市中 l l根据商业逻辑，对根据商业逻辑，对根据商业逻辑，对根据商业逻辑，对数据进行分析，以数据进行分析，以数据进行分析，以数据进行分析，以多维的形式展现数多维的形式展现数多维的形式展现数多维的形式展现数据据据据l l通过数据挖掘发现通过数据挖掘发现通过数据挖掘发现通过数据挖掘发现深层次的信息深层次的信息深层次的信息深层次的信息l l数据展现和发布数据展现和发布数据展现和发布数据展现和发布l l报表的设计、管理报表的设计、管理报表的设计、管理报表的设计、管理和发布和发布和发布和发布IntegrateIntegrateAnalyzeAnalyzeReport Report 商业智能的平台商业智能的平台Integration Services Integration Services 简介简介 新的新的 SQL SQL Server Server 商业智商业智能应用程序能应用程序DTSDTS的升级版本的升级版本新一代的高性能新一代的高性能数据整合平台数据整合平台SSIS OverviewSSIS OverviewSSIS SSIS 能做什么？能做什么？支持多种数据源，文本、支持多种数据源，文本、支持多种数据源，文本、支持多种数据源，文本、Xml Xml 、、、、OLE DBOLE DB、、、、 ODBCODBC支持复杂的数据转换流程，包括多路、循环、条件执行支持复杂的数据转换流程，包括多路、循环、条件执行支持复杂的数据转换流程，包括多路、循环、条件执行支持复杂的数据转换流程，包括多路、循环、条件执行数据可以按规则分发数据可以按规则分发数据可以按规则分发数据可以按规则分发强大的错误处理机制，强大的事件提醒功能强大的错误处理机制，强大的事件提醒功能强大的错误处理机制，强大的事件提醒功能强大的错误处理机制，强大的事件提醒功能支持多路输入及输出支持多路输入及输出支持多路输入及输出支持多路输入及输出聚合和排序聚合和排序数据转换的重要操作数据转换的重要操作在数据流中支持多种聚合函数在数据流中支持多种聚合函数Group By, Sum, Count Distinct Group By, Sum, Count Distinct Group By, Sum, Count Distinct Group By, Sum, Count Distinct 等等等等在数据流中排序在数据流中排序SSIS SSIS 支持真正的支持真正的 ETLETL，不是，不是 ELTELT聚合性能甚至超过数据库聚合性能甚至超过数据库聚合性能甚至超过数据库聚合性能甚至超过数据库关联关联清洗数据的重要操作清洗数据的重要操作LookupLookup较大的事实表和较小的维度表，如分类维度较大的事实表和较小的维度表，如分类维度较大的事实表和较小的维度表，如分类维度较大的事实表和较小的维度表，如分类维度Merge JoinMerge Join较大的事实表和较大的维度表，如客户维度较大的事实表和较大的维度表，如客户维度较大的事实表和较大的维度表，如客户维度较大的事实表和较大的维度表，如客户维度适应新的数据仓库架构适应新的数据仓库架构在以往的场景中，只能够把数据原封不动的抽取到数据库服务器上在以往的场景中，只能够把数据原封不动的抽取到数据库服务器上在以往的场景中，只能够把数据原封不动的抽取到数据库服务器上在以往的场景中，只能够把数据原封不动的抽取到数据库服务器上由数据库来执行聚合、排序和其他操作由数据库来执行聚合、排序和其他操作由数据库来执行聚合、排序和其他操作由数据库来执行聚合、排序和其他操作影响用户访问的性能影响用户访问的性能影响用户访问的性能影响用户访问的性能这种解决方案就不适合于大容量的数据或复杂的逻辑这种解决方案就不适合于大容量的数据或复杂的逻辑这种解决方案就不适合于大容量的数据或复杂的逻辑这种解决方案就不适合于大容量的数据或复杂的逻辑以往的数据仓库装载以往的数据仓库装载适应新的数据仓库架构适应新的数据仓库架构( (续续) )SSIS SSIS 抽取数据还是和以前一样抽取数据还是和以前一样抽取数据还是和以前一样抽取数据还是和以前一样但是，由但是，由但是，由但是，由 SSIS SSIS 来执行聚合和排序操作，然后装载到数据库中来执行聚合和排序操作，然后装载到数据库中来执行聚合和排序操作，然后装载到数据库中来执行聚合和排序操作，然后装载到数据库中它释放了数据库服务器的压力，使其可用于用户查询它释放了数据库服务器的压力，使其可用于用户查询它释放了数据库服务器的压力，使其可用于用户查询它释放了数据库服务器的压力，使其可用于用户查询支持支持支持支持 64 64 位的环境，可以更好的处理大数据量和复杂的逻辑位的环境，可以更好的处理大数据量和复杂的逻辑位的环境，可以更好的处理大数据量和复杂的逻辑位的环境，可以更好的处理大数据量和复杂的逻辑就算在就算在就算在就算在 32 32 位位位位 的环境下，也可以更好的分散服务器的压力的环境下，也可以更好的分散服务器的压力的环境下，也可以更好的分散服务器的压力的环境下，也可以更好的分散服务器的压力使用使用 SSIS装载数据仓库装载数据仓库 特殊的功能特殊的功能时间维的生成时间维的生成通过通过通过通过 Analysis ServicesAnalysis ServicesAnalysis ServicesAnalysis Services指定日期范围来生成纬度成员指定日期范围来生成纬度成员指定日期范围来生成纬度成员指定日期范围来生成纬度成员Pivot Pivot 和和 UnpivotUnpivot 操作操作更多的功能更多的功能演示演示 - - UnPivotUnPivotCurrencyCurrencyGBPGBPGBPGBPCADCADEUREUR0.66430.66430.40480.40481.00001.0000CADCADEUREUR1.64071.64072.47142.47141.00001.00001.50581.50580.61000.61001.00001.0000GBPGBPGBPGBPFrom CurrencyFrom CurrencyTo CurrencyTo CurrencyExchange RateExchange RateCore FeaturesCore Features数据清洗数据清洗Fuzzy lookupFuzzy lookup模糊查找，找到最合适的匹配值模糊查找，找到最合适的匹配值模糊查找，找到最合适的匹配值模糊查找，找到最合适的匹配值Fuzzy duplicatesFuzzy duplicates模糊分组，例如模糊分组，例如模糊分组，例如模糊分组，例如 “Windows XP,” “Windows XP,” “Windows XP,” “Windows XP,” ““““WinXPWinXPWinXPWinXP,”,”,”,”由微软中国研究院完成由微软中国研究院完成数据挖掘数据挖掘 在在 ETL ETL 过程中使用挖掘模型过程中使用挖掘模型使用输入数据来训练挖掘模型使用输入数据来训练挖掘模型使用输入数据来训练挖掘模型使用输入数据来训练挖掘模型使用挖掘模型来处理数据使用挖掘模型来处理数据使用挖掘模型来处理数据使用挖掘模型来处理数据基于模式的基于模式的 data qualitydata quality使用挖掘模型来预测背离值使用挖掘模型来预测背离值使用挖掘模型来预测背离值使用挖掘模型来预测背离值在运行时根据数据来选择最佳算法在运行时根据数据来选择最佳算法Data QualityData QualityAnalysis ServicesAnalysis Services设计时和运行时的集设计时和运行时的集设计时和运行时的集设计时和运行时的集成成成成Analysis Services Analysis Services Analysis Services Analysis Services 作为数据目的作为数据目的作为数据目的作为数据目的Analysis Services Analysis Services 集成集成装载到装载到 Analysis ServicesAnalysis ServicesAnalysis services Analysis services 作为数据目的作为数据目的一步到位，不需要中间存储一步到位，不需要中间存储以往以往以往以往二维数据二维数据二维数据二维数据  SQL ServerSQL ServerSQL ServerSQL Server  ASASASASSSIS SSIS SSIS SSIS 二维数据二维数据二维数据二维数据/XML/Web Service/…/XML/Web Service/…/XML/Web Service/…/XML/Web Service/…  ASASASAS对对Analysis ServicesAnalysis Services进一步的支持进一步的支持Execute DDL taskExecute DDL task就像执行就像执行就像执行就像执行 SQL SQL SQL SQL 命令一样命令一样命令一样命令一样建立多维数据集、分区等建立多维数据集、分区等建立多维数据集、分区等建立多维数据集、分区等共享的项目结构共享的项目结构一起管理一起管理一起管理一起管理 AS AS AS AS 和和和和 ETL ETL ETL ETL 项目（包括项目（包括项目（包括项目（包括 RS RS RS RS 和和和和 VSVSVSVS））））只需一次定义数据源信息只需一次定义数据源信息只需一次定义数据源信息只需一次定义数据源信息缓慢变化维缓慢变化维自动建立一类和二类缓慢变化维自动建立一类和二类缓慢变化维自动建立一类和二类缓慢变化维自动建立一类和二类缓慢变化维Fixed AttributeFixed AttributeFixed AttributeFixed Attribute当改变是个错误当改变是个错误当改变是个错误当改变是个错误Changing AttributeChanging AttributeChanging AttributeChanging Attribute不记录历史的更改，如名称不记录历史的更改，如名称不记录历史的更改，如名称不记录历史的更改，如名称Historical AttributeHistorical AttributeHistorical AttributeHistorical Attribute记录历史痕迹的更改，如所属机构记录历史痕迹的更改，如所属机构记录历史痕迹的更改，如所属机构记录历史痕迹的更改，如所属机构会引发新增维度成员会引发新增维度成员会引发新增维度成员会引发新增维度成员Inferred memberInferred memberInferred memberInferred member迟到的维度数据迟到的维度数据迟到的维度数据迟到的维度数据先装载事实数据先装载事实数据先装载事实数据先装载事实数据缓慢变化维缓慢变化维( (续续) )Business keyBusiness key来自于源数据的来自于源数据的来自于源数据的来自于源数据的keykeykeykeySurrogate key Surrogate key 可来自于其它字段可来自于其它字段可来自于其它字段可来自于其它字段通常是自动增长通常是自动增长通常是自动增长通常是自动增长缓慢变化维向导缓慢变化维向导其他的改变其他的改变SQL Task – SQL Task – 可执行存储过程和其他可执行存储过程和其他 SQL SQL 语句语句可扩展性可扩展性可以编写自己的可以编写自己的可以编写自己的可以编写自己的 SSIS SSIS SSIS SSIS 组件组件组件组件可以在可以在可以在可以在scriptscriptscriptscript任务中调用任务中调用任务中调用任务中调用.NET .NET .NET .NET 代码代码代码代码可调用性可调用性Web serviceWeb serviceWeb serviceWeb serviceXMLXMLXMLXML.NET.NET.NET.NET可靠性和可恢复性可靠性和可恢复性Error flows Error flows 在任务中处理错误数据在任务中处理错误数据在任务中处理错误数据在任务中处理错误数据Event handling Event handling 在执行包时响应事件在执行包时响应事件在执行包时响应事件在执行包时响应事件Package restart Package restart 设置失败的检查点设置失败的检查点设置失败的检查点设置失败的检查点操作操作日志记录日志记录日志记录日志记录丰富的丰富的丰富的丰富的logging providerslogging providerslogging providerslogging providers，如：文本、数据库、，如：文本、数据库、，如：文本、数据库、，如：文本、数据库、XMLXMLXMLXML、、、、Windows event log Windows event log Windows event log Windows event log 或自定义的或自定义的或自定义的或自定义的 log providerlog providerlog providerlog provider可以给单个或多个任务设置独立的日志可以给单个或多个任务设置独立的日志可以给单个或多个任务设置独立的日志可以给单个或多个任务设置独立的日志性能监视器性能监视器性能监视器性能监视器整个生命周期的支持整个生命周期的支持整个生命周期的支持整个生命周期的支持运行时设置属性和变量运行时设置属性和变量运行时设置属性和变量运行时设置属性和变量可通过可通过可通过可通过 XML, XML, XML, XML, 注册表注册表注册表注册表, , , , 环境变量环境变量环境变量环境变量, SQL , SQL , SQL , SQL 进行配置进行配置进行配置进行配置发布功能发布功能发布功能发布功能总结总结更快的速度！更快的速度！以数据流的方式，能够高效的处理复杂的逻辑。

以数据流的方式，能够高效的处理复杂的逻辑以数据流的方式，能够高效的处理复杂的逻辑以数据流的方式，能够高效的处理复杂的逻辑更强的功能！更强的功能！新增的新增的新增的新增的Data flowData flowData flowData flow增加的增加的增加的增加的TaskTaskTaskTask和和和和TransformationTransformationTransformationTransformation与其它微软与其它微软与其它微软与其它微软BIBIBIBI产品的结合产品的结合产品的结合产品的结合真正的真正的ETLETL！！在流程中清洗数据在流程中清洗数据在流程中清洗数据在流程中清洗数据微软微软SQL ServerSQL Server社区社区.sqlserver我的社区我的社区 http://www.dev-http://www.dev-http://www.dev-http://www.dev-http://http://http:// SQL Server SQL Server 主页主页: : Server 2005SQL Server 2005SQL Server 2005SQL Server 2005数据仓库新功能数据仓库新功能数据仓库新功能数据仓库新功能其它英文资源其它英文资源问题问题什么是什么是SQL Server Integration ServicesSQL Server Integration Services？？ETLETL和和ELTELT相比有什么好处？相比有什么好处？和和Analysis ServicesAnalysis Services的集成带来什么好处？的集成带来什么好处？缓慢变化维有什么用处？缓慢变化维有什么用处？。