Trafodion体系结构
10页1、Trafodion体系结构Trafodion简介Trafodion是一个构建在Hadoop/HBase基础之上的关系型数据库,它完全开源免费。Trafodion能够完整地支持ANSI SQL,并且提供ACID事务保证。和传统关系数据库不同的地方在于,Trafodion利用底层Hadoop的横向扩展能力,可以提供极高的扩展性。而传统数据库,比如MySQL,在数据量达到P级别的时候就很难处理。而Trafodion却可以借助HBase的扩展性,仅通过增加普通Linux服务器就可以增加计算和存储能力,进而支持大数据应用。比如原来使用MySQL的用户,如果数据量持续增加,往往需要采用前后端cache,分库分表,读写分离等技术。但是这些技术带来的弊端也很多。比如分库分表的构架下,不同分库之间无法执行join操作。采用这些复杂技术后,系统结构复杂,维护和开发成本提高。这是很多客户正在面临的问题。而从使用开发的角度来看,Trafodion和MySQL是完全一样的,他们同样是关系型数据库,基本的功能完全一致。因此一个经典的LAMP网络应用也可以轻松地用LATP(Linux, Apache, Trafod
2、ion, PHP) 搭建。而采用Trafodion,当业务扩展时,通过增加节点就可以应付不断增加的数据量,应用程序无需做任何修改,也无需考虑复杂的分库分表,读写分离等技术。这样就极大地降低了系统的复杂度。这只是Trafodion的可能应用之一,Trafodion还是一个非常适合的实时大数据分析平台。因为它不仅可以支持实时分析,而且能够支持实时数据写入,比如每秒上万条的随机数据插入。这是构建实时分析所必备的能力。Stinger或者Impala虽然可以提供实时查询,但去无法支持实时的数据插入。比如交通实时分析,利用Stinger/Impala等技术,虽然查询和分析可以在1分钟内完成,但是数据却只能定期载入,如果1小时一次,那么分析的数据样本是1小时前的数据,其分析结果也失去了时效性。比如,用户已经在那里堵车堵了了1个小时。关于Trafodion的使用场景读者可以参阅其他介绍Trafodion的系列文章。本文简要介绍Trafodion的技术体系结构,帮助读者基本了解Trafodion内部运作的原理。读者还可以参考https:/wiki.trafodion.org/wiki/index.php
3、/Architecture了解Trafodion的技术构架。总体结构Trafodion的体系结构可以看作三层:ODBC接入层;SQL编译执行层;数据访问和存储层。其总体结构如下所示:客户端应用通过JDBC/ODBC访问Trafodion。客户连接由Trafodion的接入层负责。接入层为每一个客户端连接分配一个master执行器,master负责用户连接所有query请求的执行和结果返回。对于简单的Query,Master进程本身就充当SQL执行层;复杂的query,访问大量数据和进行复杂运算的情况下,Master会启动一系列的ESP(Executor Server Processes)进程进行大规模并发执行。ESP进程是可以常驻内存的,以避免启动开销,但如果长期处于空闲状态ESP进程会退出,释放资源。每个ESP将执行结果返回给Master,由Master汇总并将最终结果返回给客户端。当Master或者ESP需要访问数据层的时候,会通过DTM来进行事务管理,在DTM(分布式事务管理器)的控制下调用HBase的客户端API进行数据的读写。下面分别介绍每一层的更多细节。Trafodion的
4、接入层接入层的主要组件有两个:DCSMaster和MXOSRVR。DCS Master进程运行在Trafodion集群的单个节点上,负责监听客户端的连接请求。当收到请求后,DCSMaster根据集群的工作负载平衡情况,选定集群中一个节点上的MXOSRVR作为客户端的执行代理。DCS Master将选定的MXOSRVR信息返回客户端,收到信息后,客户端直接和MXOSRVR进行连接,此后客户端的所有请求都由该MXOSRVR负责处理。类似Oracle的Dedicated 模式。当多个客户端请求连接时,DCSMaster会平均地将客户端连接到不同的MXOSRVR,从而均衡地利用集群中的每个计算节点。而且每个客户端都有一个单独的MXOSRVR负责其后续计算请求的执行,以保证快速的响应客户query。一些数据库系统只有单一的ODBC接入点,高并发的情况下,就会出现排队现象,而采用了以上的模型后,每个客户端都由一个接入点唯一负责,而且这些接入点平均分配在集群的各个节点,可以充分发挥每台计算节点的能力。为了降低延迟,Trafodion启动的时候会预先在每个节点启动一定数量的MXOSRVR进程。这样客户
《Trafodion体系结构》由会员jiups****uk12分享,可在线阅读,更多相关《Trafodion体系结构》请在金锄头文库上搜索。
建立安全生产长效机制-共创和谐平安输气管道
土石方爆破工程设计方案
康师傅百货商场制度汇编之退换货管理办法
庙头中学2012年中考百日誓师大会学生代表发言稿
围堰拆除爆破工程
华能洱源马鞍山风电场工程土石方爆破管理制度
国资委:全面开展管理提升活动-为培育世界一流企业奠定坚实基础
《专业技术人员职业发展与规划》电子书
应收票据审计方案
建筑给水排水与采暖工程质量验收用表
广播电视管理条例行政处罚裁量标准
广东电力系统调度运行操作管理规定
建筑给排水工程名词解释
幼儿园小班安全健康活动教案:宝宝误食后的急救
建业集团房屋建筑工程交房标准内容技术交底
建筑心理学论文(1)
康师傅百货商场制度汇编之工服管理程序009
建筑工程专业一级建造师继续教育培训结业报告20
廉洁风险防控回头看工作汇报材料
平台工作人员服务规范
2024-04-24 10页
2024-04-24 10页
2024-04-24 25页
2024-04-24 10页
2024-04-23 4页
2024-04-23 10页
2024-04-23 19页
2024-04-23 10页
2024-04-23 16页
2024-04-23 5页