【数据库优化-count()】count()统计行数

目录

1 count(*)为什么性能差?

2 优化count(*)性能

2.1 增加redis缓存

2.2 多线程执行

2.3 减少join的表

3 count的各种用法性能对比


数据库:Mysql8、存储引擎是Innodb

通常情况下,分页接口一般会查询两次数据库,第一次是获取具体数据,第二次是获取总的记录行数,然后把结果整合之后,再返回。

查询具体数据的sql,比如是这样的,它没有性能问题。

select id,name from user limit 1,20;

但另外一条使用count(*)查询总记录行数的sql,却存在性能差的问题。例如:

select count(*) from user;

为什么会出现这种情况呢?

1 count(*)为什么性能差?

在Mysql中,count(*)的作用是统计表中记录的总行数。而count(*)的性能跟存储引擎有直接关系,但并非在所有的存储引擎中使用count(*)的性能都很差。

在Mysql中使用最多的存储引擎是:innodbmyisam

在myisam中会把总行数保存到磁盘上,使用count(*)时,只需要返回那个数据即可,无需额外的计算,所以执行效率很高。

而innodb则不同,由于它支持事务,有MVCC(即多版本并发控制)的存在,在同一个时间点的不同事务中,同一条查询sql,返回的记录行数可能是不确定的。在innodb使用count(*)时,需要从存储引擎中一行行地读出数据,然后累加起来,所以执行效率很低。如果表中数据量小还好,一旦表中数据量很大,innodb存储引擎使用count(*)统计数据时,性能就会很差。

2 优化count(*)性能

2.1 增加redis缓存

对于简单的count(*),比如:统计浏览总次数或者浏览总人数,我们可以直接将接口使用redis缓存起来,没必要实时统计。

当用户打开指定页面时,在缓存中每次都设置成count = count+1即可。用户第一次访问页面时,redis中的count值设置成1。用户以后每访问一次页面,都让count加1,最后重新设置到redis中。

这样在需要展示数量的地方,从redis中查出count值返回即可。

该场景无需从数据埋点表中使用count(*)实时统计数据,性能将会得到极大的提升。不过在高并发的情况下,可能会存在缓存和数据库的数据不一致的问题。但对于统计浏览总次数或者浏览总人数这种业务场景,对数据的准确性要求并不高,容忍数据不一致的情况存在。

2.2 多线程执行

比如有这样一个需求:统计有效订单有多少,无效订单有多少。

这种情况一般需要写两条sql,统计有效订单的sql如下:

select count(*) from order where status=1;

统计无效订单的sql如下:

select count(*) from order where status=0;

 但如果在一个接口中,同步执行这两条sql效率会非常低。这时候,可以改成一条sql:

select count(*),status from order
group by status;

使用group by关键字分组统计相同status的数量,只会产生两条记录,一条记录是有效订单数量,另外一条记录是无效订单数量。但有个问题:status字段只有1和0两个值,重复度很高,区分度非常低,不能走索引,会全表扫描,效率也不高。

还有其他的解决方案不?答:使用多线程处理。

我们可以使用CompleteFuture,两个线程异步调用统计有效订单的sql和统计无效订单的sql,最后汇总数据,这样能够提升查询接口的性能。

2.3 减少join的表

大部分的情况下,使用count(*)是为了实时统计总数量的。但如果表本身的数据量不多,但join的表太多,也可能会影响count(*)的效率。比如在查询商品信息时,需要根据商品名称、单位、品牌、分类等信息查询数据。这时候写一条sql可以查出想要的数据,比如下面这样的:

select count(*)
from product p
inner join unit u on p.unit_id = u.id
inner join brand b on p.brand_id = b.id
inner join category c on p.category_id = c.id
where p.name='测试商品' and u.id=123 and b.id=124 and c.id=125;

使用product表去joinunit、brand和category这三张表。其实这些查询条件,在product表中都能查询出数据,没必要join额外的表。

我们可以把sql改成这样:

select count(*)  
from product
where name='测试商品' and unit_id=123 and brand_id=124 and category_id=125;

在count(*)时只查product单表即可,去掉多余的表join,让查询效率可以提升不少。

3 count的各种用法性能对比

  • count(*) :它会获取所有行的数据,不做任何处理,行数加1。

  • count(1):它会获取所有行的数据,每行固定值1,也是行数加1。

  • count(id):id代表主键,它需要从所有行的数据中解析出id字段,其中id肯定都不为NULL,行数加1。

  • count(普通索引列):它需要从所有行的数据中解析出普通索引列,然后判断是否为NULL,如果不是NULL,则行数加1。

  • count(未加索引列):它会全表扫描获取所有数据,解析出未加索引列,然后判断是否为NULL,如果不是NULL,则行数加1。

由此,最后count的性能从高到低是:

count(*) ≈ count(1) > count(id) > count(普通索引列) > count(未加索引列) 

所以,其实count(*)是最快的。 

猜你喜欢

转载自blog.csdn.net/qq_25285531/article/details/130981039