Apache之Tez 介绍

Tez是Apache最新的支持DAG作业的开源计算框架,它可以将多个有依赖的作业转换为一个作业从而大幅提升DAG作业的性能。Tez并不直接面向最终用户——事实上它允许开发者为最终用户构建性能更快、扩展性更好的应用程序。Hadoop传统上是一个大量数据批处理平台。但是,有很多用例需要近乎实时的查询处理性能。还有一些工作则不太适合MapReduce,例如机器学习。Tez的目的就是帮助Hadoop处理这些用例场景。



 

Tez 2 main design themes for Tez are:

Empowering end users by:

Expressive dataflow definition APIs

Flexible Input-Processor-Output runtime model

Data type agnostic

Simplifying deployment

Execution Performance

Performance gains over Map Reduce

Optimal resource management

Plan reconfiguration at runtime

Dynamic physical data flow decisions

Tez项目的目标是支持高度定制化,这样它就能够满足各种用例的需要,让人们不必借助其他的外部方式就能完成自己的工作,如果 Hive和 Pig 这样的项目使用Tez而不是MapReduce作为其数据处理的骨干,那么将会显著提升它们的响应时间。Tez构建在YARN之上,后者是Hadoop所使用的新资源管理框架。

Tez产生的主要原因是绕开MapReduce所施加的限制。除了必须要编写Mapper和Reducer的限制之外,强制让所有类型的计算都满足这一范例还有效率低下的问题——例如使用HDFS存储多个MR作业之间的临时数据,这是一个负载。在Hive中,查询需要对不相关的key进行多次shuffle操作的场景非常普遍,例如join - grp by - window function - order by。

Tez设计哲学里面的关键元素包括:

允许开发人员(也包括最终用户)以最有效的方式做他们想做的事情

更好的执行性能

Tez之所以能够实现这些目标依赖于以下内容:

具有表现力的数据流API——Tez团队希望通过一套富有表现力的数据流定义API让用户能够描述他们所要运行计算的有向无环图 (DAG)。为了达到这个目的,Tez实现了一个结构化类型的API,你可以在其中添加所有的处理器和边,并可视化实际构建的图形。

灵活的输入—处理器—输出(Input-Processor-Output)运行时模型——可以通过连接不同的输入、处理器和输出动态地构建运行时执行器。

数据类型无关性——仅关心数据的移动,不关心数据格式(键值对、面向元组的格式等)。

动态图重新配置

简单地部署——Tez完全是一个客户端应用程序,它利用了YARN的本地资源和分布式缓存。就Tez的使用而言,你不需要在自己的集群上部署任何内容,仅需要将相关的Tez类库上传到HDFS上,然后使用Tez客户端提交这些类库即可。

你甚至可以在你的集群上放置两份类库。一份用于产品环境,它使用稳定版本供所有的生产任务使用;另一份使用最新版本,供用户体验。这两份类库相互独立,互不影响。

Tez能够运行任意MR任务,不需要做任何改动。这样能够让那些现在依赖于MR的工具实现分布迁移。

猜你喜欢

转载自gaojingsong.iteye.com/blog/2343597