hadoop实战案例57-Flume日志收集系统.ppt

Hadoop大数据解决方案进阶应用大数据解决方案进阶应用Hadoop讲师：迪伦（北风网版权所有）Flume日志收集系统日志收集系统 (1)q￿Flume的基本概念q￿Flume￿OG架构课程目标课程目标FlumeFlume是什么是什么q由Cloudera公司开源q分布式、可靠、高可用的海量日志采集系统q数据源可定制，可扩展q数据存储系统可定制，可扩展q中间件：屏蔽了数据源和数据存储系统的异构性Flume OGFlume OG和和NGNG两个版本两个版本qFlume￿OGØOG：“Original￿Generation”Ø0.9.x或cdh3以及更早版本Ø由agent、collector、master等组件构成qFlume￿NGØNG：“Next/New￿Generation”Ø1.x或cdh4以及之后的版本Ø由Agent、Client等组件构成q为什么要推出NG版本Ø精简代码Ø架构简化Flume OGFlume OG基本架构基本架构qFlume使用两个组件：Master和NodeAgentAgentq用于采集数据，将数据源的数据发送给collectorq通常由source和sink两部分组成ØSource用于获取数据，可从文本文件，syslog，HTTP等获取数据；ØSink将Source获得的数据进一步传输给后面的Collector。

ØsyslogTcp(5140)￿|￿agentSink("localhost",35853)Øtail("/etc/services")￿|￿agentSink("localhost",35853)qFlume自带了直接可用的数据源(source)Øtext("filename")Øtail("filename")ØfsyslogTcp(5140)AgentAgentqFlume提供了很多SinkØconsole[("format")]￿Øtext(“txtfile”)Ødfs(“dfsfile”)ØsyslogTcp(“host”,port)ØagentSink[("machine"[,port])]ØagentDFOSink[("machine"￿[,port])]ØagentBESink[("machine"[,port])]ØagentE2EChainCollectorCollectorq汇总多个Agent结果q将汇总结果导入后端存储系统，比如HDFS，HbaseqFlume提供了collector的sourceØcollectorSource[(port)]ØautoCollectorSourceØlogicalSourceqFlume提供了collector的sinkØcollectorSink( "fsdir","fsfileprefix",rollmillis)Øcustomdfs("hdfspath"[, "format"])q例子collectorSource(35853)￿|￿consolecollectorSource(35853)￿|￿collectorSink("file:///tmp/flume/collected",￿"syslog");collectorSource(35853)￿|￿collectorSink("hdfs://namenode/user/flume/￿","syslog");欢迎访问我们的官方网站。