大数据表查询优化

1：索引，我们最先想到的就是创建索引，创建索引可以成倍的提升查询的效率，节省时间。但是如果数据量太过于巨大的时候，这个时候单纯的创建索引是无济于事的，我们知道假如特别是在大数据量中统计查询，就拿1000W数据来说吧，如果使用count函数的话，最少要50-100秒以上，当然如果你的服务器配置够高，处理够快，或许会少很多但是一样会超过10秒。 
单纯的建立索引是无济于事的。 我们可以在创建索引的时候给索引加个属性，compress，这个属性可以将所创建的索引进行一个良好的归类，这样的话，查询速度会提升5-10倍，或者更高。但是唯一的缺点是，压缩索引只能手动创建，对于那些KEY是无法进行压缩的，因为KEY（主键）是自动创建的索引，compress必选的属性，一般默认是不创建。所以在创建压缩索引的时候，可以找其他的关键字段进行压缩，比如工单表里面的流水号 
2：尽量少的使用那些函数，比如 IS NUll;IS NOT NULL,IN;NOT IN等这样的匹配函数，可以使用符号程序进行操作 
3：尽量少使用子查询，如果你写个类，里面模仿子查询的效果，你就会发现，简直在要命，我们可以使用联合查询，或者是外连接查询，这样速度会比子查询快很多。 
4：在使用索引的时候，注意如下： 
Where子句中有“！=”将使索引失效 
select account_name from test where amount != 0 (不使用) 
select account_name from test where amount > 0 (使用) 

Where条件中对字段增加处理函数将不使用该列的索引 
select * from emp where to_char(hire_date,'yyyymmdd')='20080411' (不使用) 
select * from emp where hire_date = to_char('20080411','yyyymmdd') (使用) 

避免在索引列上使用IS NULL和 IS NOT NULL 
select * from emp where dept_code is not null (不使用) 
select * from emp where dept_code > 0 (使用) 

通配符% 的使用 
select * from emp where name like '%A' (不使用索引) 

select * from emp where name like 'A%' (使用索引)

oracle大数据查询实现优化

大数据量查询，对数据库开发者来说，性能问题往往是最需要费尽心机的，借此总结自己优化此类问题的心得与大家分享，以免大家走更多的弯路。

1.使用主键临时表

大数据量表关联查询，是性能开销的主要原因。通过主键创建临时表，搬迁关联所需主键数据往往是我们在查询时的主要手段，接下来我们就可以通过主键临时表分批关联其他大表的方式轻松、高性能的实现大数据量查询。

2.只查询一次大表

在编写大数据量查询程序时，对于大的数据表，尽可能减少对大数据表的访问次数，必要时，可以缓存大数据表的结果。

3.分批处理，提高并发性能

数据查询就可用性来说，最基本的是响应要及时;当然，最重要的是对整个系统的并发行影响，本人比较反对通过伪分批方式实现海量数据查询。

3.只提取你需要的查询列：

大数据量查询，往往都需要通过分批的方法实现取数，当我创建了主键临时表时，切忌照搬整张大表，只需要搬迁我们需要的主键信息到临时表即可，毕竟搬迁一张海量数据表会耗费大量磁盘IO，搬迁的列越少开销势必越小。