Hive的analyze

1、使用

分区表,无论字段

analyze TABLE td.pt_pmart_ceo_FIN_TRSF_CTR_SITE_MAP partition (dt) COMPUTE STATISTICS  noscan

ps:一致报错的可能性在UDF函数建在了某个库下 ,只有在hue上的active database选择某个库的时候才能用UDF

2、目的

见名知意,它的目的就是为了统计和分析的作用,它将统计的信息存储到metastore中,后续再来查询的时候就不需要在执行查询计算,而是直接获取即可

3、范围

统计信息支持新建的和现有的表,支持分区表和普通表的统计信息 以及列统计信息

4、ANALYZE相关

1、表统计

表统计的信息包括:行数,文件数,大小(以字节为单位)

  • 1、hive 是默认自动收集统计信息,由hive.stats.autogather 配置参数决定,默认是true。但是对于load data 方式是不支持的。(想一下也可以知道,他应该是在计算的时候去计算出这些统计信息)

-注意:这个在hive中是自动收集的。在sparkThriftserver中并不适用,虽然用的hive的元数据信息,但是它们两个在这方面不相通。

  • 2、手动收集。我们这边也可以指定手动收集,手动收集的指令为

ANALYZE TABLE [db_name.]tablename [PARTITION(partcol1[=val1], partcol2[=val2], …)]
COMPUTE STATISTICS
[FOR COLUMNS] – (Note: Hive 0.10.0 and later.)
[CACHE METADATA] – (Note: Hive 2.1.0 and later.)
[NOSCAN];

其中如果指定了NOSCAN的话,该命令将不会去扫描文件,仅会收集文件数和文件大小的信息

  • 3、查看表的统计信息

desc formatted tableName

2、列统计

相关文档

https://cwiki.apache.org/confluence/display/Hive/Column+Statistics+in+Hive

  • 1、在表信息的基础上进行了扩展,可以对列信息进行统计,命令为

analyze table t [partition p] compute statistics for [columns c,…];

  • 2、查看列信息统计的命令为

describe formatted [table_name] [column_name];

猜你喜欢

转载自blog.csdn.net/someInNeed/article/details/112007364