您所在位置：网站首页 > IT计算机/网络 > 数据结构与算法如何使用Hadoop、深度学习和大数据平台_光环大数据培训

如何使用Hadoop、深度学习和大数据平台_光环大数据培训

6页

卖家[上传人]：gua****an

文档编号：51981042

上传时间：2018-08-17

文档格式：DOCX

文档大小：43.24KB

文档加载中……请稍候！
如果长时间未打开，您也可以点击刷新试试。

下载文档到电脑，查找使用更方便

0 金贝

/ 6 举报版权申诉马上下载

文本预览

下载提示

常见问题

1、光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/ 光环大数据光环大数据 http:/如何使用如何使用 HadoopHadoop、深度学习和大数据平台、深度学习和大数据平台_ _光环大数据培训光环大数据培训了解雅虎如何利用 hadoop 和大数据平台技术;在类似 Flickr 和 Esports 这样的产品中，雅虎如何使用深度学习技术进行场景检测和对象识别;机器学习在图像识别、定向广告、搜索排名、滥用检测和个性化中的应用;Hadoop 集群上用于分类和排名的机器学习算法;团队在实现大数据和机器学习方案方面遇到的挑战。雅虎在大数据这让我们可光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/ 光环大数据光环大数据 http:/以扩展到多场比赛，通宵达旦地进行匹配。其次，我们可以标准化多项赛事的开发流程各项赛事之间唯一的不同是训练数据集，那是我们在领域专家的帮助下标注的。InfoQ：您能从可扩展性、性能和安全性等方面谈一下实现机器学习方案的最佳实践吗?Cnudde：任何平台的扩展和演化都很难在不牺牲速度和稳定性的情况下完成，每个人都应该预见到面临的

2、挑战。直接在 Hadoop 集群上实现可扩展的机器学习算法已经在许多方面简化了我们的工作，尤其是在数据传输和安全方面。我们直接在 Hadoop 集群中已有的 HDFS 数据集上运行算法，并利用 Hadoop 的原生安全特性。为了运行针对大规模机器学习和深度学习应用程序的参数服务器，我们还使用大内存的 GPU 服务器对 Hadoop 集群进行了增强。为了操作这些异构的集群，我们大量地使用了 YARN 的特性。在 GPU 服务器之间，除了如今大多数 Hadoop 集群服务器之间直接通信所采用的传统 10G 以太网，我们还使用 100G 的无限带宽连接对 GPU 服务器之间的网络进行了增强。这些增强的主要目的是避免扩展瓶颈，加快学习速度。另外，我们希望深度学习进一步推动机器学习的发展。一直以来，深度学习都是学术热点，而深度学习算法目前在许多基准测试中都胜过了传统的机器学习算法。除了类似 Spark 这样的东西外，深度学习现在还需要更多的技术专家，但情况正在迅速改变。Spark 社区有浓厚的兴趣对 Spark 进行更好的整合，让运行深度学习算法和单独运行 Spark一样简单。我们开发的 Caf

3、fe-on-Spark 就是这样一种做法，它允许组织将现有的 Hadoop或 Spark 集群改造成一个强大的深度学习平台，完全分布式，而且支持增量学习。Caffe-on-Spark 提供的高级 API 让用户可以在任何云(如 AWS EC2)上启动它。InfoQ：在实现的过程中，您的团队遇到了哪些挑战?Cnudde：我们为拥有世界上其中一个最大规模的 Hadoop 部署而自豪。我们的部署有超过 36000 台服务器，跨 17 个 YARN 集群使用 680PB 的 HDFS 存储数据，每月运行光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/ 光环大数据光环大数据 http:/4000 万个 Job。如果将另外 23 个多租户 HBase 和 Storm 集群包含进来，则其规模接近45000 台服务器。此外，我们始终是最先采用新兴 Hadoop 技术并将其稳定性提升至产品级的公司之一。做第一个，有着显而易见的挑战和回报先于他人发现问题并修复它们，但这也让我们可以先于他人获得最大收益。我们相信，我们的做法，连同世界上众多公司和个人的贡献，推动了 Hadoop 技术的

4、发展。其次，我们以网络规模运行这些技术，发现有许多那种规模所特有的问题需要我们处理。通常，这些问题更难检测和修复，因为它们在规模较小时不会出现。最后，我们将所有的集群都作为共享的多租户集群进行操作，以降低成本，提高利用率。安全和资源管理/隔离非常重要，我们花费了大量的时间和精力来解决我们遇到的挑战。例如，我们在运行集群时会启用安全和高级防护，让多个团队使用相同的基础设施。通过在一个单独的 cgroup 容器中运行每项任务，我们实现了很好的隔离，严格控制它们可以消耗的内存和 CPU 资源。关于受访者Peter Cnudde 是雅虎工程部门的副总裁，负责公司的大数据和机器学习平台。他对大规模机器学习及其对社会的影响特别感兴趣。以前，Peter 在多家无线通信公司工作过，包括 Alcatel 和 RF Micro Devices。他拥有比利时根特大学的电气工程硕士学位。为什么大家选择为什么大家选择光环大数据光环大数据！光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/ 光环大数据光环大数据 http:/大数据培训、人工智能培训、Python 培训、大数据培训机构、大数据培训班、数据分析培训、大数据可视化培训，就选光环大数据！光环大数据，聘请专业的大数据领域知名讲师，确保教学的整体质量与教学水准。讲师团及时掌握时代潮流技术，将前沿技能融入教学中，确保学生所学知识顺应时代所需。通过深入浅出、通俗易懂的教学方式，指导学生更快的掌握技能知识，成就上万个高薪就业学子。【报名方式、详情咨询报名方式、详情咨询】光环大数据官方网站报名：光环大数据官方网站报名：http:/ /mobile/mobile/

《如何使用Hadoop、深度学习和大数据平台_光环大数据培训》由会员gua****an分享，可在线阅读，更多相关《如何使用Hadoop、深度学习和大数据平台_光环大数据培训》请在金锄头文库上搜索。

点击阅读更多内容

TA的资源