Hive的体系结构

在Hive的最低层是Linux操作系统,Linux之上是Hadoop集群,NameNode名称节点管理整个Hadoop集群的工作,DataNode数据节点存取数据,而Hive中的数据最终存储到Hadoop的DataNode上,在Hadoop中还有JobTracker负责任务的调度,在Hive中执行一条HQL语句,实际会被解释成一个MapReduce的一个作业,并提交到Hadoop集群上,得到结果返回给客户端,这个工作由JobStracker进行调度,有了Hadoop集群之后,可以在其之上构建Hive数据仓库,由于在Hive里面需要操作Hadoop集群中HDFS里面数据,所以在Hive的体系结构当中,最低层是Hive的驱动,包括编译器、解析器、优化器,它们负责HQL语句解析和执行的过程,有了Hive驱动我们就可以访问不同的接口来进行操作,首先在Hive包访问结构中存在CLI,可以在CLI命令行中直接输入HQL语句进行数据的查询和分析,在Hive体系结构中还提供了Thrift Server,来提供访问,通过这个服务器我们可以使用不同的程序语言,比如JDBC/ODBC连接到Thrift Server上进行访问,最后在Hive的访问当中会有一个基于Web的控制台,我们可以通过Web Console控制台来查询数据仓库中的数据,注意1.Web Console控制台只能做查询操作,不能做其他操作,2.在Hive的0.13版本中这个控制台并没有集成在Hive的安装中,所以我们要下载源代码进行编译打包,然后将打包后的控制台部署到Hive的安装目录下,只能这样才能启用我们的web控制台。最后在Hive的体系结构中,有元数据保存Hive的元信息。
发布了12 篇原创文章 · 获赞 1 · 访问量 3万+

猜你喜欢

转载自blog.csdn.net/sunzhenzhencomeon/article/details/52712995
今日推荐