002-Apache Hive

Apache Hive

Apache Hive 数据仓库软件帮助在分布式存储中读取、写入和管理大型数据集,并使用SQL语法查询。

Hive是在Apache Hadoop之上构建的,它提供了以下特性:

  • 是一个能够通过SQL轻松访问数据的工具,从而支持数据仓库任务,如提取/转换/加载(ETL)、报告和数据分析等。
  • 一种将结构强加于各种数据格式的机制
  • 对存储在 Apache HDFS 或其他数据存储系统中的文件的访问,如 Apache HBase™
  • 通过 Apache Tez™Apache Spark™MapReduce™ 执行查询
  • HPL-SQL 程序语言
  • 通过 Hive LLAPApache YARNApache Slider 进行次秒查询检索

Hive 提供了标准的 SQL 功能,包括许多后来的 SQL:2003 和 SQL:2011 的分析功能。
用户也可以通过自定义函数(udf)、聚合(UDAFs)和表函数(udf)来扩展 Hive 的 SQL 。

Hive 不能使用 “Hive format” 来指定数据存储。Hive 内置了逗号和文本文件制表符值(CSV/TSV) ,Apache Parquet™, Apache ORC™, 和其他格式的连接器。(Hive comes with built in connectors for comma and tab-separated values (CSV/TSV) text files, Apache Parquet™, Apache ORC™, and other formats. )
用户也可以为 Hive 扩展其他格式的连接器。详细信息请参考 Developer GuideFile Formats and Hive SerDe

Hive 不是为联机事务处理工作负载而设计的。它最好用于传统的数据仓库任务。
Hive 是为了最大化可伸缩性scalability (在 Hadoop 集群中动态添加更多的机器),性能、可扩展性extensibility、容错和与输入格式的松耦合而设计的。

Hive 包括 HCatalog 和 WebHCat 组件:

  • HCatalog:作为 Hadoop 的一个表和存储管理层,它允许用户使用不同的数据处理工具(包括 Pig and MapReduce — 能够更好的读写表格数据)。
  • WebHCat:WebHCat 提供了一个服务,用来运行 Hadoop MapReduce(or YARN)、Pig、Hive jobs or 使用一个 HTTP(REST style)接口来执行 Hive 元数据操作。

猜你喜欢

转载自blog.csdn.net/weixin_42725107/article/details/82491180