踩坑经历（十五）SQL优化利器——内存表

临时表与内存表

内存表，就是放在内存中的表，所使用内存的大小可通过My.cnf中的max_heap_table_size指定，如max_heap_table_size=1024M。

内存表与临时表并不相同，临时表也是存放在内存中，临时表最大所需内存需要通过tmp_table_size = 128M设定。当数据超过临时表的最大值设定时，自动转为磁盘表，此时因需要进行IO操作，性能会大大下降，而内存表不会，内存表满后，会提示数据满错误。

创建内存表

create table test
(
    id int unsigned not null auto_increment primary key,
    state char(10),
    type char(20),
    date char(30)
)ENGINE=MEMORY DEFAULT CHARSET=utf8;

内存表特性

内存表的表定义是存放在磁盘上的，扩展名为.frm，所以重启不会丢失。
内存表的数据是存放在内存中的，所以重启会丢失数据。
内存表使用一个固定的记录长度格式。
内存表不支持BLOB或TEXT列，比如varchar与text字段就不会被支持。
内存表支持AUTO_INCREMENT列和对可包含NULL值的列的索引（网上大多说不支持，这是错误的）。内存表支持大于(>) 小于( <)操作，网上也说不支持。
mysql重启后，主键、自增、索引仍然存在，只是数据丢失。这也是对网上的一些错误文字纠正。
内存表表在所有客户端之间共享（就像其它任何非TEMPORARY表）。
MEMORY存储引擎执行HASH和BTREE索引。你可以通过添加一个如下所示的USING子句为给定的索引指定一个或另一个。

内存表的使用

内存表使用哈希散列索引把数据保存在内存中，因此具有极快的速度，适合缓存中小型数据库，但是使用上受到一些限制。

heap对所有用户的连接是可见的，这使得它非常适合做缓存。
仅适合使用的场合。heap不允许使用xxxTEXT和xxxBLOB数据类型。注：操作符 “<=>” 说明：NULL-safe equal.这个操作符和“=”操作符执行相同的比较操作，不过在两个操作码均为NULL时，其所得值为1而不为NULL，而当一个操作码为NULL时，其所得值为0而不为NULL。
一旦服务器重启，所有heap表数据丢失，但是heap表结构仍然存在，因为heap表结构是存放在实际数据库路径下的，不会自动删除。重启之后，heap将被清空，这时候对heap的查询结果都是空的。
如果heap是复制的某数据表，则复制之后所有主键、索引、自增等格式将不复存在，需要重新添加主键和索引，如果需要的话。
对于重启造成的数据丢失，有以下的解决办法：
1. 在任何查询之前，执行一次简单的查询，判断heap表是否存在数据，如果不存在，则把数据重新写入，或者DROP表重新复制某张表。这需要多做一次查询。不过可以写成include文件，在需要用该heap表的页面随时调用，比较方便。
2. 对于需要该heap表的页面，在该页面第一次且仅在第一次查询该表时，对数据集结果进行判断，如果结果为空，则需要重新写入数据。这样可以节省一次查询。
3. 更好的办法是在mysql每次重新启动时自动写入数据到heap，但是需要配置服务器，过程比较复杂，通用性受到限制。

最佳实践

已经不能再优化的SQL，采用内存表的处理方式，14w条数据，更新速度从3000多秒提升到80多秒

 update t
		 set exchange=(select dict_val from sys_dict_item where dict_pid=(select id from sys_dict where dict_code='exchange') and dict_key=exchange)
				 where length(exchange)<3 and exchange is not null and  statisticdate=proc_statisticdate;