您所在位置：网站首页 > 学术论文 > 论文指导/设计厦门大学计算机科学系研究生课程

厦门大学计算机科学系研究生课程

6页

卖家[上传人]：鲁**

文档编号：484837414

上传时间：2022-09-12

文档格式：DOC

文档大小：397.50KB

文档加载中……请稍候！
如果长时间未打开，您也可以点击刷新试试。

下载文档到电脑，查找使用更方便

15 金贝

/ 6 举报版权申诉马上下载

文本预览

下载提示

常见问题

1、厦门大学计算机科学系研究生课程大数据技术原理与应用上机练习熟悉常用的HDFS操作主讲教师：林子雨厦门大学数据库实验室二零一五年九月 / 文档可自由编辑打印目录1作业题目12作业目的13作业性质14作业考核方法15作业提交日期与方式16实验平台17实验内容和要求18实验报告2附录1:任课教师介绍2附录2：课程教材介绍2大数据技术原理与应用熟悉常用的HDFS操作上机练习说明主讲教师：林子雨E-mail: 个人主页：1 作业题目熟悉常用的HDFS操作。2 作业目的（1）理解HDFS在Hadoop体系结构中的角色；（2）熟练使用HDFS操作常用的Shell命令；（3）熟悉HDFS操作常用的Java API。3 作业性质课后作业，必做，作为课堂平时成绩。4 作业考核方法提交上机实验报告，任课老师根据上机实验报告评定成绩。5 作业提交日期与方式林子雨编著大数据技术原理与应用教材第三章分布式文件系统HDFS内容结束后的下一周周六晚上9点之前提交。6 实验平台操作系统：LinuxHadoop版本：1.2.1或以上版本JDK版本：1.6或以上版本Java IDE：Eclipse7 实验内容和要求首先

2、，编程实现以下指定功能，并利用Hadoop提供的Shell命令完成相同任务：（1）向HDFS中上传任意文本文件，如果指定的文件在HDFS中已经存在，由用户指定是追加到原有文件末尾还是覆盖原有的文件；（2）从HDFS中下载指定文件，如果本地文件与要下载的文件名称相同，则自动对下载的文件重命名；（3）将HDFS中指定文件的内容输出到终端中；（4）显示HDFS中指定的文件的读写权限、大小、创建时间、路径等信息；（5）给定HDFS中某一个目录，输出该目录下的所有文件的读写权限、大小、创建时间、路径等信息，如果该文件是目录，则递归输出该目录下所有文件相关信息；（6）提供一个HDFS内的文件的路径，对该文件进行创建和删除操作。如果文件所在目录不存在，则自动创建目录；（7）提供一个HDFS的目录的路径，对该目录进行创建和删除操作。创建目录时，如果目录文件所在目录不存在则自动创建相应目录；删除目录时，由用户指定当该目录不为空时是否还删除该目录；（8）向HDFS中指定的文件追加内容，由用户指定内容追加到原有文件的开头或结尾；（9）删除HDFS中指定的文件；（10）删除HDFS中指定的

3、目录，由用户指定目录中如果存在文件时是否删除目录；（11）在HDFS中，将文件从源路径移动到目的路径。其次，编程实现一个类“MyFSDataInputStream”，该类继承“org.apache.hadoop.fs.FSDataInputStream”，要求如下：（1）实现按行读取HDFS中指定文件的方法“readLine()”，如果读到文件末尾，则返回空，否则返回文件一行的文本。（2）实现缓存功能，即利用“MyFSDataInputStream”读取若干字节数据时，首先查找缓存，如果缓存中有所需数据，则直接由缓存提供，否则向HDFS读取数据。查看Java帮助手册或其它资料，用“.URL”和“org.apache.hadoop.fs.FsURLStreamHandlerFactory”编程完成输出HDFS中指定文件的文本到终端中。8 实验报告厦门大学计算机系研究生课程大数据技术原理与应用实验报告题目：姓名日期实验环境：实验内容与完成情况：出现的问题：解决方案（列出遇到的问题和解决办法，列出没有解决的问题）：附录1:任课教师介绍林子雨(1978),男,博士,厦门大学计算机科学系

4、助理教授,主要研究领域为数据库,实时主动数据仓库,数据挖掘.主讲课程：大数据技术基础办公地点：厦门大学海韵园科研2号楼E-mail: 个人主页：数据库实验室网站：附录2：课程教材介绍大数据技术原理与应用概念、存储、处理、分析与应用，由厦门大学计算机科学系教师林子雨博士编著，是中国高校第一本系统介绍大数据知识的专业教材。本书定位为大数据技术入门教材，为读者搭建起通向“大数据知识空间”的桥梁和纽带，以“构建知识体系、阐明基本原理、引导初级实践、了解相关应用”为原则，为读者在大数据领域“深耕细作”奠定基础、指明方向。全书共有13章，系统地论述了大数据的基本概念、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、NoSQL数据库、云数据库、分布式并行编程模型MapReduce、流计算、图计算、数据可视化以及大数据在互联网、生物医学和物流等各个领域的应用。在Hadoop、HDFS、HBase和MapReduce等重要章节，安排了入门级的实践操作，让读者更好地学习和掌握大数据关键技术。本书可以作为高等院校计算机专业、信息管理等相关专业的大数据课程教材，也可供相关技术人员参考、学习、培训之用。欢迎访问大数据技术原理与应用概念、存储、处理、分析与应用教材官方网站：扫一扫访问教材官网

《厦门大学计算机科学系研究生课程》由会员鲁**分享，可在线阅读，更多相关《厦门大学计算机科学系研究生课程》请在金锄头文库上搜索。

点击阅读更多内容

TA的资源

关于成立隔音棉公司运营方案模板范本

初中学生期末评语

山东省烟台市芝罘区2015-2016高三数学专题复习函数3函数与方程及解题方法

八版药理学归纳

问卷调查教师卷

2019-2020年整理MM巧克力豆广告学策划书

零件加工合同模板

水泥灌浆工程监理实施细则

留学学习计划书

转正述职五篇2

质量评估报告(消防水池)

第八章第二讲热力学定律气体

小学四年级语文期末检测题及参考答案

《变色龙卡罗》教案

2018河南中考化学考点示例

【施工方案】精装修临时用电施工方案(DOC 24页)

外科护士演讲稿集锦9篇

2023年高中生评语大全24篇（完整）

【河塘清淤】施工组织方案

餐饮行业集团整体解决方案

点击查看更多

新上传的WORD文档

银行年终工作总结及明年工作计划.doc 六年级语文教学叙事 2022年学前中班游戏活动设计方案空调安装施工方案七年级细胞核是遗传信息库山东省邹平县2021学年七年级语文上学期期中试题新人教版1 景观排水沟的精细化设计解析一劳务承包合同通用3 工程技术人员个人述职报告五篇重视环境创设 (3) 建筑专业个人简历模板2 2022医学检验(师)考试(全能考点剖析）名师点拨卷含答案附答案77 17.《故乡的芦苇》教学设计清明节环保倡议书3篇圆锥曲线讲义之六