您所在位置：网站首页 > IT计算机/网络 > 数据结构与算法在Hadoop上运行Docker容器的六大陷阱_光环大数据培训

在Hadoop上运行Docker容器的六大陷阱_光环大数据培训

4页

卖家[上传人]：gua****an

文档编号：52454794

上传时间：2018-08-21

文档格式：DOCX

文档大小：43KB

文档加载中……请稍候！
如果长时间未打开，您也可以点击刷新试试。

下载文档到电脑，查找使用更方便

0 金贝

/ 4 举报版权申诉马上下载

文本预览

下载提示

常见问题

1、光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/ 光环大数据光环大数据 http:/在在 HadoopHadoop 上运行上运行 DockerDocker 容器的六大陷阱容器的六大陷阱_ _光环大数据培训光环大数据培训尽管在 hadoop 上集成了容器负载的潜在价值，目前任职于 Cloudera 的 Daniel Templeton 仍然建议在部署 Docker 容器之前，等待 Hadoop 3.0 版本引入安全问题和其他问题的注意事项。在上周于迈阿密召开的北美 Apache 大会上， Daniel 在演讲中表示：“它的潜在价值确实很大，但 Hadoop3.0 发布前，它仍然解决不了你的问题。容器很酷，但你确实还无法使用它。”作为 Cloudera 的 YARN 项目中的一名软件工程师，Templeton 曾深入了解过由 Hadoop Linux Container Executor 提供的 Docker 支持(下载)，也曾经探讨过何时会出现更好的选择。他曾在探讨中坚持地认为是 Docker 应用在 Hadoop 之上，而不是 Hadoop 应用在 Do

2、cker 上。“如果你也有一个 Hadoop 集群，你会和我一样，想在 Docker 容器里执行工作负载的。”虽然 Hadoop 的 YARN 调度引擎目前支持 Docker 作为已提交应用的执行引擎，但当你在现有版本的 Hadoop 中执行它的时候，还是需要提前了解那些“坑”。陷阱一：Docker 容器中必须开放应用权限目前，当你在运行 Docker 容器时，需要指定一个用户运行它。如果你指定的是用户 ID 而不是用户名，假如这个用户 ID 不存在，它也会自动为你创建用户。这种重新映射在遇到大量 image 的时候是无法正常工作的，也就意味着用户必须事先指定，如若不然，你将无法访问任何内容，也不能启动脚本和记录日志，将完全处于宕掉的状态。光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/ 光环大数据光环大数据 http:/图片描述图自 Daniel Templeton 的演讲内容陷阱二：Docker 容器和运行环境之间不独立可移植性是 Docker 容器最主要的特性之一，但运行于 Hadoop 的时候 Docker 的可移植性却不怎么好。当你想访问 H

3、DFS 或者当你需要反译令牌，又或者当你需要像 MapReduce 这样的框架，亦或你想做 Spark 的时候，你必须得拥有 image 中的代码文件才可以实现。因此 Hadoop 的版本必须升级。升级 Hadoop 版本的补丁程序可以在 YARN-5534 上下载。该补丁程序允许安装被列为白名单的存储卷，且开放管理员权限。当你拥有管理员权限，不仅这些目录可以被允许安装到 Docker 容器中，而且可以指定要挂载的目录。但需要注意的是，千万不要挂载任何可能会搞砸的东西。陷阱三：image 太大就会报错当执行程序的时候，docker_run 将隐含地从 repo 中拉出图像，虽然 Spark 和 MapReduce 都有 10 分钟的超时时间，但如果图像太大，网络下载时间超过了 10 分钟，程序就会报错。假如持续地重新提交程序，导致的最终结果将会是程序处在某个已经尝试过的节点上并运行。目前针对这种图像报错，YARN 上对图像缓存暂无有效的解决方法。陷阱四：不支持安全回收光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/ 光环大数据光环大数据 http:/

4、Docker 会将访问了 client_config 中安全备份的.docker / config.json 文件进行存储备份，这个应该众所周知。这意味着当你访问安全备份时，无论从哪个节点管理器登录，你都会受到用户主目录中.docker / config.json 文件的约束。恐怕这种限制没人能接受。陷阱五：网络只有最基本的支持众所周知，当应用 Kubernetes、Mesos 这类容器管理工具的时候，网络很容易就得到实现，CNS 也能得到处理。但 YARN 却提供不了这样的网络管理服务。 YARN 没有内置的端口映射的概念，网络也没有真正的自动化管理。相反，如果你想请求访问网络，你只能通过所有节点管理器上的 Docker 来显式创建网络。陷阱六：具备较大的安全隐患Docker 在 Hadoop 上运行是有安全隐患的。为什么这么说?Docker 中的一个特权容器可以窥探底层操作系统，访问斜线进程和设备。假如是以 root 权限运行在容器当中，那么在底层操作系统中很有机会执行非常可怕的操作。当这种情况发生的时候，YARN 目前是无法指定到用户的。虽然可以通过将其关闭或限制

5、到某一特定用户组的做法来控制它，但这个安全隐患的问题必须得到重视。Hadoop 3.0虽然 Hadoop2.8 中存在 Docker 的修复程序，但仍然不够用。在本次更新版本中，Hadoop3.0 新增功能点：支持本地化的文件目录作为卷进行安装;支持 cgroups;光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/ 光环大数据光环大数据 http:/支持不同的网络选项;支持文档;据悉 Hadoop3.0 将很可能在年底发布，其主要功能 Hbase 擦除编码将得到改进，并将为用户提供 1.5 倍的存储空间。这意味着可以节省用户一半的硬盘成本，并对 YARN 和 MapReduce 的用户产生巨大的影响。目前 Hadoop3.0 的项目一直与雅虎，Twitter 和微软等主要用户合作，确保与现有系统的兼容性，并且不会出现任何痛苦的滚动升级。为什么大家选择为什么大家选择光环大数据光环大数据！大数据培训、人工智能培训、Python 培训、大数据培训机构、大数据培训班、数据分析培训、大数据可视化培训，就选光环大数据！光环大数据，聘请专业的大数据领域知名讲师，确保教学的整体质量与教学水准。讲师团及时掌握时代潮流技术，将前沿技能融入教学中，确保学生所学知识顺应时代所需。通过深入浅出、通俗易懂的教学方式，指导学生更快的掌握技能知识，成就上万个高薪就业学子。【报名方式、详情咨询报名方式、详情咨询】光环大数据官方网站报名：光环大数据官方网站报名：http:/ /mobile/mobile/

《在Hadoop上运行Docker容器的六大陷阱_光环大数据培训》由会员gua****an分享，可在线阅读，更多相关《在Hadoop上运行Docker容器的六大陷阱_光环大数据培训》请在金锄头文库上搜索。

点击阅读更多内容

TA的资源