IBM存储解决方案—数据分析的存储(powerpoint 41页).pptx

Copyright IBM Corporation 2014IBM存储解决方案存储解决方案 数据分析的存储数据分析的存储IBM STG Page 2从企业数据向大数据的扩展Traditional ApproachStructured, analytical, logicalSystems of RecordNew ApproachCreative, holistic thought, intuitionSystems Of EngagementMultimediaSystems of Insight Enterprise Integrationand Context AccumulationStructuredRepeatableLinearUnstructuredExploratoryDynamicData WarehouseWeb LogsSocial DataText Data:emailsSensor data:imagesRFIDInternal App DataTransaction DataMainframe DataOLTP System DataHadoop andStreamsTraditional SourcesNew SourcesERP data具备洞悉能力的系统Systems of InsightPage 3对新式基础架构的需求对新式基础架构的需求对新式基础架构的需求对新式基础架构的需求在可靠和安全可靠和安全的环境中处理关键业务应用存取和处理存取和处理海量数据包括结构化和非结构化数据速度及时响应随时可能出现的商业机会，这就需要灵活、实时性的基础架构The dynamics of SoR and SoE:通过负载及资源部署的优化，来增强灵活性和效益通过采用包括基于开放标准的技术等新技术来改善IT economicsSystemofRecord（ （SoR） ）SystemsofEngagement（ （SoE） ）对的决策的决策对的地方的地方对的的时间点点BigData&AnalyticsPage 4大数据分析的新型架构解决方案大数据分析的新型架构解决方案大数据分析的新型架构解决方案大数据分析的新型架构解决方案IBMBigData&AnalyticsInfrastructureData Zone Application Zone Page 55SmartMeteringGridOperations电网管理电网管理FieldService外勤现场服务外勤现场服务ResourcePlanning资源规划资源规划CustomerService/CustomerOperations实现真正的有效的法规遵从及时发现能源损耗问题、以及偷电和欺诈行为提高客户满意度电量使用预测更为精确电网运维优化减少停电次数和时间案例案例案例案例: :SmartMeteringSmartMetering智慧电力计费智慧电力计费智慧电力计费智慧电力计费 大大大大数据分析应用可以带来数据分析应用可以带来数据分析应用可以带来数据分析应用可以带来真正的业务价值真正的业务价值真正的业务价值真正的业务价值法法规遵从遵从Page 6案例案例案例案例:用大数据分析来加强用大数据分析来加强用大数据分析来加强用大数据分析来加强 SmartMeteringSmartMetering数据分析的高可用性，以确保随时了解用户喜好跨应用的TB级的数据需求 通用虚拟化存储平台实时收集、存储并分析数据，最快可达 50,000 data points/sec历史用电状态数据的复杂查询处理数据在加载到数据仓库前的清洗、验证，这些数据可能来自很多的用户、收费系统或断电保护系统关系掌控构建和维护电网的唯一试图对整个企业的结构化和非结构化数据t做全局导览Navigation，从中发现Discover价值分析用户用电情况，侦测偷电、改表等行为预测哪些用户适合于哪些分时时段电价或需求/响应服务分时时段电价的实时定价 或 提供及时的需求/响应服务Page 7IBMBigData&AnalyticsReferenceArchitectureBig Data Platform CapabilitiesInformation IngestReal-time AnalyticsWarehouse & Data MartsAnalytic AppliancesAll Data SourcesAdvanced Analytics/New InsightsNew/Enhanced ApplicationsCognitive认认知知Learn Dynamically?Prescriptive规规范范Best Outcomes?Predictive预测预测What Could Happen?Descriptive描述描述What Has Happened?ExplorationandDiscoveryWhat Do You Have?Streaming DataText DataApplications DataTime SeriesGeo SpatialRelationalSocial NetworkVideo & ImageAutomated ProcessCase ManagementAnalytic ApplicationsWatsonCloud ServicesISV SolutionsAlertsPage 8NewInfrastructureLeveragesDataTypesDatainMotionDataatRestDatainManyFormsInformationIngestionandOperationalInformationDecisionManagementBIandPredictiveAnalyticsNavigationandDiscoveryIntelligenceAnalysis Raw Data Structured Data Text Analytics Data Mining Entity Analytics Machine LearningLandingArea,AnalyticsZoneandArchiveVideo/AudioNetwork/SensorEntity AnalyticsPredictiveReal-timeAnalyticsExploration,IntegratedWarehouse,andMartZonesDiscoveryDeep ReflectionOperationalPredictive Stream Processing Data Integration Master Data StreamsInformation Governance, Security and Business Continuity BigInsightsStreamsWarehouse Copyright IBM Corporation 2014Page 10InfoSphereBigInsightsHadoop-based 低延迟分析，针对多样化的、海量静态数据Data-At-RestNetezzaHighCapacityAppliance基于结构化数据的可查询归档Netezza1000基于结构化数据的BI+定制化分析 DataSmartAnalyticsSystem基于结构化数据的运营分析InformixTimeseriesTime-structured analyticsInfoSphereWarehouse基于结构化数据的大容量数据分析InfoSphereStreams低延迟流数据分析Velocity, Variety & VolumeData-In-MotionMPP Data WarehouseStream ComputingInformation IntegrationHadoopInfoSphereInformationServer海量数据集成和转化ApacheHadoop:跨服务器集群的大数据集分布式处理开放系统框架，采用的是一种简单化编程模型IBMBigDataPlatform大数据平台大数据平台Page 11What: 一种开源软件，将数据计算分布到整个集群的常见商用服务器和存储上Why: 传统的计算架构是一种沿纵向扩展模式，通过更快的SAN、大容量内存和多级缓存将数据加载到CPU上，成本比较高。

What: Hadoop 把大数据集合拆分区划为小数据集合，再把小数据集合分发到多台普通服务器上，是一种横向扩展模式Why: Scalable, Flexible, Cost Effective, Fault TolerentComponents: Map Reduce, HDFSWhatisHadoop?Page 12NameNode (Metadata store)NodesHDFS ClusterOperating SystemNodesElastic Storage -SNC ClusterKernel LevelIBMValueforHadoop!HDFS 把数据分散存储在多个存储节点Node上HDFS 设计时就假设存储节点有失效的可能，所以HDFS会把一份数据复制3份以上，分散存储在多个节点上，从而实现系统整体上的可靠性HDFS文件系统是由服务器节点集群组成的，每台服务器依照HDFS的特有block协议支持网络化block 数据HDFS Name Node 有发生单点故障的危险IBM 在改善文件系统的性能同时消除了单点故障 Elastic Storage -SNC (available as beta code)Hadoop说说明明,MapReduce,HDFSPage 13HadoopStackHadoopStackWhat does it look like?Page 14典型典型Hadoop存存储储的的PainPoints在选择HDFS的组件（如软件、服务器、网络和存储等）时很难选对对在从测试环境迁移到生产环境时，需要做的调优和调整工作太繁复了长期持续不断的运维保障过于繁重，比如老要更换失效组件（尤其是硬盘），这使得保证期望的SLA非常难CPU 和存储去耦o本来用户的CPU和内存已经满足计算需求，但为了存储容量需要安装更多的硬盘不得不买更多的、不必要的CPU和内存Storage options available have clear gapso本地存储的利用率低 (25%)，每次需要扩容的时候就要添加更多的服务器，而一旦硬盘失效后需要重建，服务器越多，失效的几率越高，性能也就越差Page 15IBMStorageforHadoopIBMStorageforHadoop传统的 Hadoop 集群使用的是服务器内置硬盘存储。

如果用作测试或科学研究还好，可作为业务运行的存储就要采用企业存储Hadoop 集群要负责数据保护和复制l重建（就是copy）失效的数据集到不同节点上 严重影响CPU性能，无法实现企业级的RASlReplicate data 问题同上l扩展的时候同时增加处理器/网络/存储，无法做到物尽其用（ no way to separate these 3 even if excess capacity existing in one (e.g. Needed more storage but had to add Compute and Network)）使用外部存储可以将存储负载和Hadoop计算节点分离，同时还获得了企业存储的好处lSell the value of XIV, V7000, SVC, etc.用户一般会随Hadoop 部署；采用Elastic Storage 可以有很多好处15Page 16数据加速数据加速lExperience the instant results that come from IBM FlashSystemlDrive as much as 45X。