大数据和硬件讲解.ppt

1 大数据&硬件技术 2 大数据和硬件 • 基于大容量、高密度的SATA硬盘 • 通过hadoop等开源软件构建分布式文件系统 • 提供POSIX化的API接口构建大数据处理平台 • 将计算能力和存储能力结合在一起的存储服务器 3 大数据处理的数据库平台 • 特别是分析挖掘类应用已经逐步走向列型数据库 ，而不再是传统关系性数据库的行型数据库 • 比如Sybase IQ就是一种高性能列数据库，适合 OLAP（联机分析处理）应用，具有较强的扩展性 • 硬件架构上一般采用高性能磁阵加高密度服务器 阵列方式组建 4 大数据应用模型硬件方案 • 经过软硬件整合的大数据处理平台，诞生一体机的硬 件形态比如Oracle公司的Exadata、IBM的Netezza • 另外一种一体机形式则采用了硬件定制化方式，也有 较大的市场空间，就是SAP公司的HANA数据库 5 现状及未来 •大数据是一种以数据为中心的数据密集型技术，现有 的以计算为中心的技术难以满足其需求 •目前对大数据处理的优化都是基于传统的内存-磁盘 访问模式，数据处理的关键“数据I/O瓶颈”一直存在 •未来随着硬件新器件和新材料的发展，如相变材料、 阻性RAM等逐步成熟商用，将使内存容量大、速度 快且不再挥发，基于内存计算的大数据处理技术将蓬 勃兴起。

6 数据中心存储技术的演变之路 •传统的直接连接存储(DAS)比较简单，只运行 内部需要的任务 •后来慢慢变成了笨重、庞大、昂贵的存储附加 网络/网络附加存储(SAN/ NAS)系统 •近些年来，由于诸多技术进步，进入下一个阶 段：虚拟化存储 7 重大的技术进步 •Hadoop、Cassandra及其他分布式方法，这 些新技术可以简化管理拥有诸多节点的集群这 一任务 •比如说，需要大量处理器资源的复杂的数据分 析工作负载现在可以分布在多个节点上 •此外，超融合系统也引入了新的分布式存储技 术，用到了简单的卷和固态硬盘(SSD) 8 现代的应用程序架构 •SSD：一块磁盘就能获得同样的工作负载性能 •10Gb网络 •超融合和分布式存储：消除了RAID控制器 在超融合基础设施中，计算、存储和网络等子 系统整合到同一个设备中 9 现代的应用程序架构 •通过将固态硬盘卷连接至服务器，我们就能做 到，数据中心的操作系统软件足够智能、足够 快速，能够与该服务器在集群中的其他服务器 共享数据和容量 •可以依赖10Gb网络来回传输数据块，而之前 数据块要发送到外部存储设备 10 现代的应用程序架构 • 它们可以在几个节点之间同步传输这些信息，保 存几个副本，同时针对合适的区域实行重复数据 删除和压缩等操作。

• 存储快照和复制功能在服务器自身里面已被启用 ，不需要第三方干预或专用网关服务器 11 云计算 • 在数据中心存储技术的发展过程中，客户和IT管 理人员对云技术已变得非常熟悉比如说，如果 你问他们云存储具有什么样的价值，他们可能告 诉你，云以一种弹性、可扩展、按需提供的方式 ，提供了所需的存储空间和计算能力你不会听 到他们提到后端磁盘厂商，因为它们在云环境下 根本无关紧要云计算相当于一种新语言，用户 已准备接受这种新语言，欢迎云理念 12 云计算 • 在公有云和私有云，用户们在寻找可以轻松管理资源 池的智能软件 • 数据中心存储技术的演变之路始于只有一台服务器的 连接存储，如今进化到一切资源都合并到特定孤岛的 阶段现在，我们看到以前的方法卷土重来，不过由 于种种技术进步，这回一切显得更自然、更高效 13 什么是硬件虚拟化 • 虚拟化：从简单入手 • 硬件虚拟化：虚拟化技术的革命 • 纯软件的虚拟化技术 14 虚拟化：从简单入手 • 虚拟化是一个广义的术语，是一个为了简化管理，优化资 源的解决方案如同现在空旷、通透的写字楼，整个楼层 几乎看不到墙壁，用户可以用同样的成本构建出更加自主 适用的办公空间，进而节省成本，发挥空间最大利用率。

这种把有限的固定的资源根据不同需求进行重新规划以达 到最大利用率的思路，在IT领域就叫做虚拟化技术 15 硬件虚拟化：虚拟化技术的革命 • CPU的虚拟化技术是一种硬件方案，支持虚拟技术的 CPU带有经特别优化过的指令集来控制虚拟过程，通过 这些指令集，虚拟机可以很容易提高性能，相比纯软 件的虚拟化技术会在很大程度上提高性能 16 纯软件的虚拟化技术 • 在纯软件虚拟化解决方案中，虚拟机中的操作系统其实 是真是操作系统下的一个应用程序，因此，虚拟操作系 统上的应用程序到实际操作系统就要比通常应用程序多 经过一个通信层 17 芯片辅助虚拟化：AMD PK 英特尔 在过去的近20年间，X86处理器的核心指令集没 有什么变化，但AMD和Intel却在处理器中加入了许多 创新功能，如64位内存扩展技术、图像处理指令、浮 点运算指令以及多核心技术等等2009年，AMD和 Intel又在CPU中加入了芯片辅助虚拟化技术，这一创 新将虚拟化从梦想推向现实但从架构上来说，传统 的X86平台并不是为支持多操作系统并行而设计的因 此，AMD和Intel需要重新设计CPU，增加虚拟化特性， 以解决上述问题。

18 虚拟化技术与多任务以及超线程技术 是完全不同的 • 多任务是指在一个操作系统中多个程序同时一起运行 ，而在虚拟化技术中，则可以同时运行多个操作系统 ，而且每一个操作系统中都有多个程序运行，每一个 操作系统都运行在一个虚拟的CPU或者是虚拟主机上； 而超线程技术只是单CPU模拟双CPU来平衡程序运行性 能，这两个模拟出来的CPU是不能分离的，只能协同工 作。