1、使用
分区表,无论字段
analyze TABLE td.pt_pmart_ceo_FIN_TRSF_CTR_SITE_MAP partition (dt) COMPUTE STATISTICS noscan
ps:一致报错的可能性在UDF函数建在了某个库下 ,只有在hue上的active database选择某个库的时候才能用UDF
2、目的
见名知意,它的目的就是为了统计和分析的作用,它将统计的信息存储到metastore中,后续再来查询的时候就不需要在执行查询计算,而是直接获取即可
3、范围
统计信息支持新建的和现有的表,支持分区表和普通表的统计信息 以及列统计信息
4、ANALYZE相关
1、表统计
表统计的信息包括:行数,文件数,大小(以字节为单位)
- 1、hive 是默认自动收集统计信息,由hive.stats.autogather 配置参数决定,默认是true。但是对于load data 方式是不支持的。(想一下也可以知道,他应该是在计算的时候去计算出这些统计信息)
-注意:这个在hive中是自动收集的。在sparkThriftserver中并不适用,虽然用的hive的元数据信息,但是它们两个在这方面不相通。
- 2、手动收集。我们这边也可以指定手动收集,手动收集的指令为
ANALYZE TABLE [db_name.]tablename [PARTITION(partcol1[=val1], partcol2[=val2], …)]
COMPUTE STATISTICS
[FOR COLUMNS] – (Note: Hive 0.10.0 and later.)
[CACHE METADATA] – (Note: Hive 2.1.0 and later.)
[NOSCAN];
其中如果指定了NOSCAN的话,该命令将不会去扫描文件,仅会收集文件数和文件大小的信息
- 3、查看表的统计信息
desc formatted tableName
2、列统计
相关文档
https://cwiki.apache.org/confluence/display/Hive/Column+Statistics+in+Hive
- 1、在表信息的基础上进行了扩展,可以对列信息进行统计,命令为
analyze table t [partition p] compute statistics for [columns c,…];
- 2、查看列信息统计的命令为
describe formatted [table_name] [column_name];