XXX高校数字化校园数据中心建设方案.doc

高校数字校园数据中心建立方案建议书目录一、工程概述41.1建立背景41.2建立目标51.3建立原则61.4云平台技术打造大数据与高性能优势7二、需求分析92.1现状分析92.2总体建立9***高校校园云平台需求10大数据分析需求10高性能需求12三、数据中心总体规划14四、云数据中心建立规划174.1 资源池规划184.2 资源池规划内容204.3 虚拟化软件选型规划234.4 云管理平台建立规划244.5数据中心统一管理平台规划27五、大数据建立规划295.1大数据平台规划295.2 大数据架构介绍345.3新型分布式处理技术根底355.4 分布式文件系统355.5 MapReduce计算框架365.6数据管理与分析385.7 分布式数据库385.8 Hive数据仓库395.9 大数据调优效劳39六、高性能建立规划426.1高性能平台建立内容426.2高性能平台总体性能要求426.3节点配置详解43计算节点〔大数据DataNode节点〕43节点43八路胖节点44管理节点〔NameNode节点〕456.3.5 IO节点〔JobTracker、TaskTracker节点〕45存储系统46计算网络466.3.8 TSDM集群部署软件介绍516.3.9 备份复原软件介绍53集群并行环境介绍54七、机房建立规划55八、方案配置清单56一、 工程概述1.1建立背景遍布全球的互联网络正在无时无刻、无所不在地渗透到人们工作、生活和学习中，成为推动社会开展的强大动力。

在商业化的世界中，众多企业正在把自己转变成一种称为“数字神经系统〞的新型组织，让企业能够以数字神经系统的方式对内部业务流程、知识共享和网络商务进展整合，快速响应全球化的竞争高校不仅承当着人才培养的重任，还承当了一些前沿科技和技术的研究同样，作为培养和造就新世纪人才的教育系统和学校，也面临同样的社会环境变化趋势然而，很多学校却明显落在了互联网络时代的后面，尽管学校已经采用了一些先进的设备和工具，但是还在沿用千百年来的传统教学方法和管理模式电化教学设备、电脑乃至校园网都变成了利用率很低的简单摆设，真正起决定性变化的管理和教学的方法和模式却没有随着社会开展的大趋势进展相应变革面对知识全球化和民族素质提高的教育要求，以及一系列的教育市场化竞争的挑战，“数字化校园〞正在日臻成熟并发挥越来越重要的作用数字化校园〞的目标就是为了使校园的使用者可以更有效的利用校园来开展教学、科研活动并更方便快捷地进展学习、生活因此校园的主人：学生——教师——管理人员就成为数字化校园的效劳对象，他们的主要校园活动：教学——科研——管理——生活就成为数字化校园的内容主体数字化校园〞的目标用一个词来表示就是效劳〞，为学生、教师、管理人员提供更好的效劳就是数字化校园的宗旨。

目前云计算、互联网+、大数据分析、移动和物联网开展迅猛，数以亿计的用户通过互联网效劳时时刻刻都产生大量的交互，这些交互通过手持设备、RFID、无线传感器产生大量的数据，IDC预计到2021年全球数据将增加到35ZB〔1ZB=1024EB、1EB=1024PB〕，是2021年的45倍，其中80%以上为非构造化数据这些需要处理的数据量越来越大、增长迅猛，而业务需求和竞争压力对数据处理的实时性、有效性又提出来更高的要求，常规的数据库技术手段根本无法应付与处理由此而生产了Big Data技术来处理此类问题大数据技术将是IT领域新一代的技术与架构，他将帮助人类从大量、复杂的数据中提取价值，它可以帮助决策者在储存的海量信息中挖掘出需要的信息，并且对这些信息进展分析研究，从而发现重要的趋势信息因此大数据的有效管理和挖掘将成为未来竞争和增长的根底，并日益成为企业的生产要素和战略资产，预计也将带来新一轮生产率的提升和消费者体验改善，类似工业革命的大数据时代已经降临，我们有理由相信未来大数据的产业规模将会至少以万亿美元来进展衡量大数据将给IT行业开拓一个新的黄金时代，作为**重要的高校我们有义务在这些前沿科技上做出对人类、社会、**、**有帮助的研究并造福人类、造福**和**。

云计算是一种新型的信息资源管理和计算效劳模式，是继大型计算机、个人电脑、互联网之后信息产业的一次革命云计算可将分散的计算、存储、效劳资源有机整合起来管理和效劳，转变了传统IDC运行管理理念，是未来计算的开展方向云计算以其资源动态分配、按需效劳的设计理念，具有低本钱解决海量信息处理的独特魅力云计算+大数据将会为现有的数据中心增加可用性特点能高效地、平安地运营；另一方面，并能降低数据中心的能源消耗和运行本钱；我们对云计算的理解是：云计算一种基于网络的支持异构设施和资源流转的效劳供给模型，它提供给客户可自治的效劳，实现资源的按需分配、按量计费云计算导致资源规模化，促进分工的专业化，使得资源供给商和用户都更加关注于自己的业务，有利于降低单位资源本钱，促进全社会的开拓创新浪潮从事教育行业已经有数十年经历，致力于帮助教育用户提供一体化的数字化校园解决方案，在教育行业有数量众多的成功案例，浪潮承诺站在用户角度，寻求最为合理的解决方案，最大限度满足客户需求1.2建立目标本次建立目标为：利用云计算技术打造***高校大数据分析、高性能应用等高校科研根底平台云计算资源中心建立后，将包括校园云计算虚拟化中心、大数据分析、和高性能计算中心，并为此三个中心提供统一管理平台。

通过云计算资源中心的建立，物理资源将被组织起来统一调配和供给，提供给学校各学院、部门、教师及学生使用并且通过云数据中心为学校提供大数据分析和高性能计算效劳通过资源集中化，资源的共享得以实现，应用在资源之间的迁移也成为可能当资源集中后，对于一样资源进展管理的代价将大幅度降低，而资源的使用率将成倍提升从而解决数据中心当前面临的问题，更有效的推动信息化的开展基于云计算的大数据和高性能中心建立目标主要有以下几个方面：1、资源纬度集约化通过虚拟化方式，为各学院、部门和师生提供根底计算效劳和数据存储2、数据纬度一体化方便数据共享，为大规模数据整合和交换提供可能3、管理纬度效劳化利用云计算方式，实现根底软硬件资源的统一管理、按需分配、综合利用，降低各部门系统建立本钱和日常运行维护费用高校数字校园云计算平台建立着重点为：提供IAAS效劳的效劳器虚拟化中心，提供校园师生教学办公用的校园云盘中心和提供高性能计算效劳的高性能计算中心建立完成后的高校云计算平台实现以下功能：1、建立效劳器虚拟化中心；为学校各大业务平台提供IAAS效劳，以虚拟效劳器的方式为校园各大业务平台提供业务支撑效劳；2、建立大数据分析；为前沿的大数据分析和研究提供效劳，为局部在校学生课题提供效劳；3、建立校园高性能计算中心；为学校一些需要进展高性能计算的部门提供高性能计算根底平台，为业务部门高性能计算需求提供效劳；4、建立云计算中心统一管理平台；为校园云计算中心中的业务云平台、大数据分析系统、高性能计算中心提供统一的管理平台，为不同管理用户和业务用户提供统一入口；5、通过建立云计算平台，学校实现对资源的大集中统一管理并提升整体计算能力；通过虚拟化技术提高资源利用率，防止重复建立，节约整体本钱。

1.3建立原则结合本工程的实际应用和开展要求，在进展云计算+大数据+高性能平台方案设计过程中，应始终坚持以下原则： 〔1〕可扩展性原则为了保护已有的投资以及不断增长的业务需求，系统必须具有灵活的构造并留有合理的扩大余地，以便根据需要进展适当的变动和扩大；主要业务平台系统应采用开放的构造，符合国际标准、工业标准和行业标准，适应技术的开展和变化〔2〕合理性原则在一定的资金条件下，以适当的投入，建立性能价格比高的、先进的、完善的业务系统所有软硬件的选型和配置要坚持性能价格比最优原则，同时兼顾与已有设备和系统的互联互通能力，以及与目前操作系统和应用系统的兼容性在满足系统性能、功能以及考虑到在可预见的未来不失去先进性的条件下，尽量取得整个系统的投入合理性，以构成一个性能价格比优化的应用系统系统架构的设计应尽可能地运用虚拟化、云计算等新技术，以符合未来的技术开展方向这种设计方法可以最大化地利用投资，并在利用率、管理、能源等各方面提高用户投资的效率，降低总体拥有本钱，减少浪费的发生结合新技术的运用，也可以让各应用系统更好地融入未来整体IT建立规划中，防止发生推到重建的现象，从而更好地保护学校在信息系统上的投入。

〔3〕可靠性原则系统要具有高可靠性及强大的容错能力该系统必须保证7×24全天候不连续地工作，核心设备比方数据库效劳器和存储设备具有全容错构造，并具有热插拔功能，可带电修复有关故障而不影响整个系统的工作，设计应保持一定数量的冗余以保证整体系统的高可靠性和高可用性即便是在系统建立初期也要着重考虑系统可用性、可靠性问题，防止出现系统停顿等问题造成信息系统的中断效劳通过结合云计算等新技术，可以更好地提高系统的可靠性和可用性〔4〕可管理性原则选择基于国际标准和开放的技术，采用标准化、标准化设计；同时采用先进的设备，易于日后扩展，便于向更新技术的升级与衔接，实现系统较长的生命力；保证在系统上进展有效的开发和使用，并为今后的开展提供一个良好的环境；在设计、组建中心机房系统时，采用先进的、标准的设备；在选购效劳器、存储和连接设备时，选用同一家公司的系列产品，确保系统部件间的严密配合和无缝联接，并获得良好的售后效劳和技术支持；整个系统建成后按照整理一套完整的文档资料，以便提高整个系统的可管理性与可维护性1.4云平台技术打造高校数字化校园优势通过建立云计算平台，通过效劳的方式交付对物理硬件的需求，代替传统硬件设备跟随着应有系统的增加而增加的模式，对现有应用系统进展整合，实现IT效劳的快速交付，节能响应国家号召，提升业务系统平安。

1、合理利用硬件资源，减少运行消耗云计算平台可将效劳器物理资源转换成池化的可动态分配的计算单元，从学校业务具体需求出发，在资源池中划分出适合具体业务需要的效劳计算单元，不再受限于物理上的界限，从而提高资源的利用率，简化系统管理，让信息化建立对学校业务工作的变化更具适应力，从而构建出信息系统平台的根底云平台建成后，可减少物理效劳器数量至原有数量的一半以上，机房空间占用面积大大减少，机房相应配套设施建立也可能够相应减少，在实际工作中预计可节省能源到达70%以上，响应国家节能减排的要求 2、增强业务部署速度，提高即时响应能力云平台能够对学校业务系统提出的建立需求做到快速响应、快速部署，部署更新工作时间由原来数天或数星期缩短为只需几分钟即可完成如果总资源池中的硬件计算资源告急，只需要添加相应的物理效劳器，简单的将新购的效劳器部署到资源池集群中，云平台会根据整体资源池的动态资源平衡来自动分配新增加的计算资源给应用程序，真正的实现新效劳器的即插即用3、完善应急平安机制云平台可以自动监控资源池中计算单元和应用单元的可用性，检测物理效劳器故障，如果检测到故障，可重新在资源池中其他物理效劳器上重新启动相关业务，整个过程无需人工干预。

通过专线光纤将同城异地的两个云平台连接起来，既可形成一个稳定的基于云平台技术的容灾系统可以实现应用级数据备份和业务系统的应用级容灾，容灾系统切换时间可以实现分钟级，并且能进展容灾演练操作4、提供便捷的管理运维方式云平台可以通过一个统一的管理平台，来进展对平台中运行的各项业务设立不同权限的管理账号，根据工作需要设置不同的管理权限，并可通过其管理日志追溯操作过程还可以通过在平台上安装第三方平安软件的方式，一次性解决平台。