Hadoop日志分析管理系统的设计与实现.doc

毕业设计（论文）任务书毕业设计（论文）题目：Hadoop日志分析管理系统的设计与实现基本内容：(1) 了解海洋工程项目的开发背景，分析项目对于日志分析的功能需求，研究其设计与实现技术2) 设计Hadoop日志分析管理系统，实现对项目日志的监控、分析、管理功能3) 总结归纳所完成的任务，弥补不足，以最短的时间用最少的投入实现项目的开发毕业设计（论文）专题部分：题目：　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　基本内容：学生接受毕业设计（论文）题目日期　　　　　　　　　　　　　第1周指导教师签字： 2011年3月4日工　作　计　划　　毕业实习（调　研）　2月28日——　3月18日　（第1周——第3周）单位：　　　　　　东北大学　　　　　　　　任务：(1) 了解Hadoop日志分析管理系统的项目应用背景、国内外状以及课题研究的实际意义2) 熟悉系统在设计和实现过程中将要用到的相关技术，包括云计算技术、Java图形编程技术、Java多线程技术以及JavaWeb开发的相关技术等3) 掌握MapReduce的工作情况，以及Hadoop生成日志的基本格式4) 分析系统的需求情况，了解系统的实现目标、开发环境等。

5) 根据毕设题目，初步拟定研究设计内容，完成开题报告工　作　计　划　　所需参考资料目录　　1. 徐国华, 李启炎, 柳先辉. 基于组成设计模式的日志系统[J]. 计算机应用研究, 2005: 48-50.2. Tom White. Hadoop权威指南[M]. 清华大学出版社, 2010. 3. 谭贞军. Java核心开发技术从入门到精通[M]. 电子工业出版社, 2009.4. Bruce Eckel. Java编程思想[M]. 机械工业出版社, 2007.5. Dave Crane, Eric Pascarello, Darren James. Ajax实战[M]. 北京: 人民邮电出版社, 2006.6. 张斌, 郭军. 软件工程及应用[M]. 东北大学出版社, 2007.7. 王润华. 基于Hadoop集群分布式日志分析系统研究[J]. 科技信息, 2009, 15: 60-61.8. 黄海隆. 计算机日志分析与管理方法的研究[J]. 大众科技, 2006, 7: 67-68.9. 胡光民, 周亮, 柯立新. 基于Hadoop的网络日志分析系统研究[J]. 电脑知识与技术, 2010, 6(22): 6163-6164.10. Jeffrey Dean, Sanjay Ghemawat. MapReduce:Simplified Data Processing on Large Clusters[A]. Communications of the ACM[C], 2008, 107-113. 11. Torsten Hoefler, Andrew Lumsdaine, Jack Dongarra. Towards Efficient MapReduce Using MPI[A]. EuroPVM/MPI[C], Berlin Heidelberg, 2009, 240-249.12. Matthew L. Massie, Brent N. Chun, David E. Culler. The Ganglia Distributed Monitoring System: Design, Implementation, and Experience[A]. Parallel Computing[C], 2004, 817-840. 工　作　计　划拟定设计（实验）方案、论文选题3月21日—3月25日　（第4周—第4周）　　设计方案论证（论文开题报告）　　3月28日—4月1日　（第5周—第5周）　　设计工作与图纸绘制（实验研究、论文工作）　　4月2日—5月27日　（第5周—第13周）　　撰写说明书（论文）　　5月30日—6月10日　（第14周—第15周）　　毕业设计（论文）专题部分　　月　日—　　月　日　（第　周—第　周）　　毕业设计（论文）送交评阅人日期　6月15日—6月17日　（第16周—第16周）　　答　辩　日　期　　6月18日—6月22日　（第16 周—第17周）指导教师审批签字： 2011年3月10日　（第2周）工　作　记　录　　毕业实习（调研）　　2月28日—3月18日　（第1周—第3周）单位：　 东北大学 　完成任务情况：(1) 查看了海洋环境信息云计算与云服务体系框架应用研究项目说明书，完成了对系统项目应用背景的基本了解。

2) 通过对比日志分析的国内外发展现状，了解到日志分析在大型项目中是必不可少的，然而业界对于Hadoop集群的日志分析尚不成熟，所以完成Hadoop日志的分析管理是一个值得研究的课题3) 学习了Hadoop权威指南、Hadoop in Action等书籍，初步了解了MapReduce的工作方式和Hadoop日志的基本格式情况4) 了解了云计算技术、Java多线程技术、JavaWeb开发技术等知识，为以后的工作做了充分准备5) 初步分析了系统的需求情况，搭建了系统的开发环境6) 初步形成了设计思路，制定了毕业设计的时间进度表，并完成了开题报告工　作　记　录　查　阅　资　料　目　录　1. 徐国华, 李启炎, 柳先辉. 基于组成设计模式的日志系统[J]. 计算机应用研究, 2005: 48-50.2. Tom White. Hadoop权威指南[M]. 清华大学出版社, 2010. 3. 谭贞军. Java核心开发技术从入门到精通[M]. 电子工业出版社, 2009.4. Bruce Eckel. Java编程思想[M]. 机械工业出版社, 2007.5. Dave Crane, Eric Pascarello, Darren James. Ajax实战[M]. 北京: 人民邮电出版社, 2006.6. 张斌, 郭军. 软件工程及应用[M]. 东北大学出版社, 2007.7. 王润华. 基于Hadoop集群分布式日志分析系统研究[J]. 科技信息, 2009, 15: 60-61.8. 黄海隆. 计算机日志分析与管理方法的研究[J]. 大众科技, 2006, 7: 67-68.9. 胡光民, 周亮, 柯立新. 基于Hadoop的网络日志分析系统研究[J]. 电脑知识与技术, 2010, 6(22): 6163-6164.10. Jeffrey Dean, Sanjay Ghemawat. MapReduce:Simplified Data Processing on Large Clusters[A]. Communications of the ACM[C], 2008, 107-113. 11. Torsten Hoefler, Andrew Lumsdaine, Jack Dongarra. Towards Efficient MapReduce Using MPI[A]. EuroPVM/MPI[C], Berlin Heidelberg, 2009, 240-249.12. 李玉荣, 杨树强, 贾焰等. 分布式日志服务关键技术研究[J]. 计算机工程与应用, 2006, 7: 116-118.工　作　记　录　设计方案论证（论文开题报告）　指导教师评语及改进意见：指导教师签字： 　　　2011年4月1日研究所（系）评语及改进意见：研究所所长签字： 　　　2011年4月1日工　作　记　录设计工作与图纸绘制　完成日期： 5月27日（第13周）（实验研究、论文工作）设计说明书　　　　　完成日期：　　　　　 6月10日（第15周）　　　（论　　文）专题部分完成日期：　　　　　　　　月　　　日（第　周）毕业设计　　　　　　送交评阅人日期：　　 6月15日（第16周）（论　　文）指导教师签字： 　　　　 2011年6月14日上机（实验）地点：主楼415累计上机时数：550小时答辩日期：　　　　　　　 　　　6月20日（第17周）答辩委员会主任签字：　　　　　　　2011年 月 日工　作　记　录答　　　　　疑内容提要：问：王老师，我的毕设该如何选题呢？答：现在我们实验室在做一个海洋工程项目，你可以负责其中一个功能模块的实现，你先了解下项目的基本情况，然后我们再确定毕设题目。

3月4日（第1周）内容提要：问：王老师，我已经看过项目说明书，对项目的一些情况有了基本了解，并做了相应调研，我可以开始确定毕设题目了吗？ 答：可以了你可以负责海洋项目中的资源监视模块毕设题目可以定为Hadoop日志分析管理系统的设计与实现3月11日（第2周）内容提要：问：王老师，在Hadoop日志分析系统开始设计实现前，我都需要掌握哪些知识？答：你需要熟练掌握Java语言，熟悉Java多线程、Java2D等技术，你自己可以编一些小程序练练手，然后再了解下linux的使用，熟悉linux环境 还有就是，你可以查找些资料，了解下云计算的相关知识，可以熟悉下开源分布式框架Hadoop，以及分布式文件系统HDFS，MapReduce编程模型等3月18日（第3周）工　作　记　录答　　　　　疑内容提要：问：王老师，Java图像编程技术我该如何去学习呢？ 答：你可以查看下JAVA的API，jdk1.6中有个工具包叫做Java2D，上面有一些Java图形编程的例子，你可以参考下 3月25日（第4周）内容提要：问：王老师，海洋工程项目对于日志分析管理系统的功能需求主要有哪些？ 答：功能需求可以从几个方面展开，包括CPU使用率、内存使用率等系统状态信息的实时展示、日志列表的展示以及日志文件的分析，还有Job详细信息的展示等。

4月2日（第5周）内容提要：问：王老师，您能给我一些关于系统概要设计部分的建议吗？答：可以首先你需要了解你的系统设计原则，然后根据设定的原则去进行概要设计可以先从基本思想展开介绍，弄清楚系统的基本思想，再画出系统的框架图，这样一来你的设计就变得清晰明了，为下一步详细设计做好充分准备 4月15日（第7周）工　作　记　录答　　　　　疑内容提要：问：王老师，在详细设计部分，我想从数据采集、数据整合、数据分析以及数据展示四个方面展开，这样做是否合理呢？答：这样是可以的但你要知道数据分析和数据展示应是详细设计的重点，注意在这两个部分应多作说明5月6日（第10周）内容。