基于flume的美团日志收集系统.doc

基于Flume的美团日志收集系统(一)架构和设计 问题导读：1. Flume-NG与Scribe对比，Flume-NG的优势在什么地方？2.架构设计考虑需要考虑什么问题？3.Agent死机该如何解决？4.Collector死机是否会有影响？5.Flume-NG可靠性(reliability)方面做了哪些措施？美团的日志收集系统负责美团的所有业务日志的收集，并分别给Hadoop平台提供离线数据和Storm平台提供实时数据流美团的日志收集系统基于Flume设计和搭建而成《基于Flume的美团日志收集系统》将分两部分给读者呈现美团日志收集系统的架构设计和实战经验第一部分架构和设计，将主要着眼于日志收集系统整体的架构设计，以及为什么要做这样的设计第二部分改进和优化，将主要着眼于实际部署和使用过程中遇到的问题，对Flume做的功能修改和优化等1 日志收集系统简介日志收集是大数据的基石许多公司的业务平台每天都会产生大量的日志数据收集业务日志数据，供离线和的分析系统使用，正是日志收集系统的要做的事情高可用性，高可靠性和可扩展性是日志收集系统所具有的基本特征目前常用的开源日志收集系统有Flume, Scribe等。

Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，目前已经是Apache的一个子项目Scribe是Facebook开源的日志收集系统，它为日志的分布式收集，统一处理提供一个可扩展的，高容错的简单方案2 常用的开源日志收集系统对比下面将对常见的开源日志收集系统Flume和Scribe的各方面进行对比对比中Flume将主要采用Apache下的Flume-NG为参考对象同时，我们将常用的日志收集系统分为三层（Agent层，Collector层和Store层）来进行对比对比项Flume-NGScribe使用语言Javac/c++容错性Agent和Collector间，Collector和Store间都有容错性，且提供三种级别的可靠性保证；Agent和Collector间, Collector和Store之间有容错性；负载均衡Agent和Collector间，Collector和Store间有LoadBalance和Failover两种模式无可扩展性好好Agent丰富程度提供丰富的Agent，包括avro/thrift socket, text, tail等主要是thrift端口Store丰富程度可以直接写hdfs, text, console, tcp；写hdfs时支持对text和sequence的压缩；提供buffer, network, file(hdfs, text)等代码结构系统框架好，模块分明，易于开发代码简单3 美团日志收集系统架构美团的日志收集系统负责美团的所有业务日志的收集，并分别给Hadoop平台提供离线数据和Storm平台提供实时数据流。

美团的日志收集系统基于Flume设计和搭建而成目前每天收集和处理约T级别的日志数据下图是美团的日志收集系统的整体框架图a. 整个系统分为三层：Agent层，Collector层和Store层其中Agent层每个机器部署一个进程，负责对单机的日志收集工作；Collector层部署在中心服务器上，负责接收Agent层发送的日志，并且将日志根据路由规则写到相应的Store层中；Store层负责提供永久或者临时的日志存储服务，或者将日志流导向其它服务器b. Agent到Collector使用LoadBalance策略，将所有的日志均衡地发到所有的Collector上，达到负载均衡的目标，同时并处理单个Collector失效的问题c. Collector层的目标主要有三个：SinkHdfs, SinkKafka和SinkBypass分别提供离线的数据到Hdfs，和提供实时的日志流到Kafka和Bypass其中SinkHdfs又根据日志量的大小分为SinkHdfs_b，SinkHdfs_m和SinkHdfs_s三个Sink，以提高写入到Hdfs的性能，具体见后面介绍d. 对于Store来说，Hdfs负责永久地存储所有日志；Kafka存储最新的7天日志，并给Storm系统提供实时日志流；Bypass负责给其它服务器和应用提供实时日志流。

下图是美团的日志收集系统的模块分解图，详解Agent, Collector和Bypass中的Source, Channel和Sink的关系a. 模块命名规则：所有的Source以src开头，所有的Channel以ch开头，所有的Sink以sink开头；b. Channel统一使用美团开发的DualChannel，具体原因后面详述；对于过滤掉的日志使用NullChannel，具体原因后面详述；c. 模块之间内部通信统一使用Avro接口；4 架构设计考虑下面将从可用性，可靠性，可扩展性和兼容性等方面，对上述的架构做细致的解析4.1 可用性(availablity)对日志收集系统来说，可用性(availablity)指固定周期内系统无故障运行总时间要想提高系统的可用性，就需要消除系统的单点，提高系统的冗余度下面来看看美团的日志收集系统在可用性方面的考虑4.1.1 Agent死掉Agent死掉分为两种情况：机器死机或者Agent进程死掉对于机器死机的情况来说，由于产生日志的进程也同样会死掉，所以不会再产生新的日志，不存在不提供服务的情况对于Agent进程死掉的情况来说，确实会降低系统的可用性对此，我们有下面三种方式来提高系统的可用性。

首先，所有的Agent在supervise的方式下启动，如果进程死掉会被系统立即重启，以提供服务其次，对所有的Agent进行存活监控，发现Agent死掉立即报警最后，对于非常重要的日志，建议应用直接将日志写磁盘，Agent使用spooldir的方式获得最新的日志4.1.2 Collector死掉由于中心服务器提供的是对等的且无差别的服务，且Agent访问Collector做了LoadBalance和重试机制所以当某个Collector无法提供服务时，Agent的重试策略会将数据发送到其它可用的Collector上面所以整个服务不受影响4.1.3 Hdfs正常停机我们在Collector的HdfsSink中提供了开关选项，可以控制Collector停止写Hdfs，并且将所有的events缓存到FileChannel的功能4.1.4 Hdfs异常停机或不可访问假如Hdfs异常停机或不可访问，此时Collector无法写Hdfs由于我们使用DualChannel，Collector可以将所收到的events缓存到FileChannel，保存在磁盘上，继续提供服务当Hdfs恢复服务以后，再将FileChannel中缓存的events再发送到Hdfs上。

这种机制类似于Scribe，可以提供较好的容错性4.1.5 Collector变慢或者Agent/Collector网络变慢如果Collector处理速度变慢（比如机器load过高）或者Agent/Collector之间的网络变慢，可能导致Agent发送到Collector的速度变慢同样的，对于此种情况，我们在Agent端使用DualChannel，Agent可以将收到的events缓存到FileChannel，保存在磁盘上，继续提供服务当Collector恢复服务以后，再将FileChannel中缓存的events再发送给Collector4.1.6 Hdfs变慢当Hadoop上的任务较多且有大量的读写操作时，Hdfs的读写数据往往变的很慢由于每天，每周都有高峰使用期，所以这种情况非常普遍对于Hdfs变慢的问题，我们同样使用DualChannel来解决当Hdfs写入较快时，所有的events只经过MemChannel传递数据，减少磁盘IO，获得较高性能当Hdfs写入较慢时，所有的events只经过FileChannel传递数据，有一个较大的数据缓存空间4.2 可靠性(reliability)对日志收集系统来说，可靠性(reliability)是指Flume在数据流的传输过程中，保证events的可靠传递。

对Flume来说，所有的events都被保存在Agent的Channel中，然后被发送到数据流中的下一个Agent或者最终的存储服务中那么一个Agent的Channel中的events什么时候被删除呢？当且仅当它们被保存到下一个Agent的Channel中或者被保存到最终的存储服务中这就是Flume提供数据流中点到点的可靠性保证的最基本的单跳消息传递语义那么Flume是如何做到上述最基本的消息传递语义呢？首先，Agent间的事务交换Flume使用事务的办法来保证event的可靠传递Source和Sink分别被封装在事务中，这些事务由保存event的存储提供或者由Channel提供这就保证了event在数据流的点对点传输中是可靠的在多级数据流中，如下图，上一级的Sink和下一级的Source都被包含在事务中，保证数据可靠地从一个Channel到另一个Channel转移其次，数据流中 Channel的持久性Flume中MemoryChannel是可能丢失数据的（当Agent死掉时），而FileChannel是持久性的，提供类似mysql的日志机制，保证数据不丢失4.3 可扩展性(scalability)对日志收集系统来说，可扩展性(scalability)是指系统能够线性扩展。

当日志量增大时，系统能够以简单的增加机器来达到线性扩容的目的对于基于Flume的日志收集系统来说，需要在设计的每一层，都可以做到线性扩展地提供服务下面将对每一层的可扩展性做相应的说明4.3.1 Agent层对于Agent这一层来说，每个机器部署一个Agent，可以水平扩展，不受限制一个方面，Agent收集日志的能力受限于机器的性能，正常情况下一个Agent可以为单机提供足够服务另一方面，如果机器比较多，可能受限于后端Collector提供的服务，但Agent到Collector是有Load Balance机制，使得Collector可以线性扩展提高能力4.3.2 Collector层对于Collector这一层，Agent到Collector是有Load Balance机制，并且Collector提供无差别服务，所以可以线性扩展其性能主要受限于Store层提供的能力4.3.3 Store层对于Store这一层来说，Hdfs和Kafka都是分布式系统，可以做到线性扩展Bypass属于临时的应用，只对应于某一类日志，性能不是瓶颈4.4 Channel的选择Flume1.4.0中，其官方提供常用的MemoryChannel和FileChannel供大家选择。

其优劣如下：l MemoryChannel: 所有的events被保存在内存中优点是高吞吐缺点是容量有限并且Agent死掉时会丢失内存中的数据l FileChannel: 所有的events被保存在文件中优点是容量较大且死掉时数据可恢复缺点是速度较慢上述两种Channel，优缺点相反，分别有自己适合的场景然而，对于大部分应用来说，我们希望Channel可以同提供高吞吐和大缓存基于此，我们开发了DualChannell DualChannel：基于 MemoryChannel和 File。