Hadoop大数据环境的5大陷阱_光环大数据培训

光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cnHadoopHadoop 大数据环境的大数据环境的 5 5 大陷阱大陷阱_ _光环大数据培训光环大数据培训光环大数据培训光环大数据培训认为，虽然 hadoop 可以运行在廉价的商品计算机硬件，且用 户很容易添加节点，但是它有一些细节是很昂贵的，尤其是你在生产环境中运 行 Hadoop。甲骨文公司大数据产品经理 Jean-Pierre Dijck 称：“IT 部门认为我已 经有服务器，我还可以买到便宜的服务器，我也有人员，所以我们不用花多少 钱就可以构建自己的 Hadoop 集群，这当然是一件好事，但是 IT 部门在部署 时会发现这里会有很多他们没有预料到的额外开销。”DijcksDijcks 列举了列举了 ITIT 领导在领导在 DIYDIY HadoopHadoop 集群时的集群时的 5 5 个常见错误：个常见错误：1.1.他们试图以廉价的方式构建他们试图以廉价的方式构建 HadoopHadoop很多 IT 部门不清楚 Hadoop 集群应该完成什么使命(除了分析某些类型的数 据)，所以他们会购买尽可能便宜的服务器。“Hadoop 被认为是可自愈的，所以当服务器的一个节点出现故障，构不成 大问题，”Dijcks 称，“但如果你购买廉价的服务器，很多节点出现故障那么 你就要花更多时间来修复硬件，如果一大堆节点都不运行了，这就会造成大问 题。”如果你的 Hadoop 集群只是实验，那么以上这些可能不是问题。然而，很多 实验性项目通常最后都会进入生产环境。IT 部门认为，“我们已经投入了大量 的时间，我们已经做了很多工作，现在我们需要将其投入生产，”Dijcks 说道， “在实验期间，如果环境出现问题，只要重新启动即可，但在生产环境，集群 需要能够抵御硬件故障、人为交互故障以及任何可能发生的事情。”Forrester 公司在其 2016 年第二季度报告“大数据 Hadoop 优化系统”中 指出，我们需要大量时间和精力用于安装、配置、调试、升级和监控通用 Hadoop 平台的基础设施，而预配置 Hadoop 优化系统可提供更快的时间价值、 降低成本、最小化管理工作以及模块化扩展功能。2.2.太多太多“厨师厨师”大多数 IT 部门将自己分为软件、硬件和网络组，而 Hadoop 集群跨越了这 些分组，所以 DIY Hadoop 集群最终会成为很多有说服力的“厨师”的产物。光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cnDijcks 称：“在这种情况中，你有一个食谱来参考，但负责不同领域的人 并不会完全遵循食谱，因为他们喜欢与食谱要求略有不同的做法。“所以最终， Hadoop 集群不会按照预期那样运行。在进行故障排除后，系统应该能够启动以及让 IT 运营人员在生产环境中运 行，但 Dijcks 称：“这是另一个学习曲线开始的地方，他们可能不熟悉 Hadoop 集群，你会看到很多人为错误、停机时间等一系列问题。”3.3.他们没有意识到他们没有意识到 HadoopHadoop DIYDIY 项目是特洛伊木马项目是特洛伊木马在 Hadoop 集群转移到生产环境后，企业通常会发现他们需要安排专门的工 作人员来保持其运行。Dijcks 称：“当然，这个工作人员的大部分时间花费在 维护上，而不是创新。”此外，这名工作人员还需要了解 Hadoop 系统。他警告道：“你不能期望人们在很短时间内变成 Hadoop 专家。”即使你雇 佣经验丰富的工作人员，但 IT 环境差异性很大-DIY Hadoop 集群组件也是如 此。因此，在你特定环境中的所有配置、连接和相互关系都需要花时间来了解。4.4. 他们低估了更新的复杂性和频率他们低估了更新的复杂性和频率新版 Hadoop(例如来自 Cloudera 和 Hortonworks)每三个月发布一次，这些 通常包含新特性、新功能、更新、漏洞修复等。“除了保持 Hadoop 集群运行所需的所有人类操作外，每三个月都会有新的 升级版本，”Dijcks 称，“你完成升级的那一刻，你必须开始规划下一次升级。 这相当复杂，所以有些人开始跳过更新。”即使你跳过几次更新，最终你还是 会需要更新，例如从 5.4 升级到 5.7。虽然 Cloudera 和 Hortonworks 会尝试测试尽可能多的场景，“他们不能测 试你特定操作系统版本或者对特定工作操作的影响，”Dijcks 称，“你的环境 可能有思科路由器或者 Red Hat 操作系统或者 IBM 硬件，同时，如果这个集群 正用于大数据生产项目，而你需要更新时，就有可能会制造出明显的停机时间。 ”5.5. 他们没有准备好应对安全挑战他们没有准备好应对安全挑战在 Hadoop 早期，安全没有被视为一个大问题，因为集群仍位于防火墙后面。 而现在，安全已经成为最大的问题。目前 Kerberos 身份验证已经内置到 Hadoop 来解决这些问题，但有些 IT 企 业不知道如何处理此协议，“整合 Kerberos 到企业的 Active Directory 非常 复杂，”他表示，“你需要在 Active Directory 和一系列组件之间进行非常多光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn集成工作。且这方面的文档非常少，最要命的是这涉及到安全管理员和 IT 其他 团队，这些人员几乎是使用完全不同的语言。”有些 IT 部门最终会与 Cloudera、Hortonworks 或其他第三方签署合同以保 护他们的 DIY Hadoop 集群。“这需要一些时间才能完成设置、测试等工作，” Dijcks 称，“然后每过三个月，你都需要重新做一次，以确保应用和配置等一 切的正常运行。”为什么大家选择为什么大家选择光环大数据光环大数据！大数据培训、人工智能培训、Python 培训、大数据培训机构、大数据培训班、数据分析培训、大数据可视化培训，就选光环大数据！光环大数据，聘请专业的大数据领域知名讲师，确保教学的整体质量与教学水准。讲师团及时掌握时代潮流技术，将前沿技能融入教学中，确保学生所学知识顺应时代所需。通过深入浅出、通俗易懂的教学方式，指导学生更快的掌握技能知识，成就上万个高薪就业学子。【报名方式、详情咨询报名方式、详情咨询】光环大数据官方网站报名：光环大数据官方网站报名：http:/hadoop.aura.cn/http:/hadoop.aura.cn/手机报名链接：手机报名链接：http:/http:/ hadoop.aura.cnhadoop.aura.cn /mobile/mobile/