Mysql大数据优化方案

随着业务规模的不断扩大，需要选择合适的方案去应对数据规模的增长，以应对逐渐增长的访问压力和数据量。

关于数据库的扩展主要包括：业务拆分、主从复制，数据库分库与分表。

（1）业务拆分

假设：Mysql一个数据库中有三张表，shop表，goods表，history表。

随着业务逐渐复杂，数据逐渐增多。数据库的执行效率越来越低。

此时可以将三张表放到三个不同主机上人不同数据库中，这样对一个数据库人压力就分成了三份，系统的吞吐量就会大大提高。

（2）主从复制

MySQL的Replication是一个多MySQL数据库做主从同步的方案，特点是异步复制，广泛用在各种对MySQL有更高性能、更高可靠性要求的场合。

MySQL Replication 就是从服务器拉取主服务器上的二进制日志文件，然后再将日志文件解析成相应的SQL语句在从服务器上重新执行一遍主服务器的操作，通过这种方式来保证数据的一致性。

特点：

主从间的数据库不是实时同步，就算网络连接正常，也存在瞬间主从数据不一致的情况。
如果主从的网络断开，则从库会在网络恢复正常后，批量进行同步。
如果对从库进行修改数据，那么如果此时从库正在在执行主库的bin-log时，则会出现错误而停止同步，所以一般情况下，我们要非常小心的修改从库上的数据。
一个衍生的配置是双主、互为主从配置，只要双方的修改不冲突，则可以工作良好。
如果需要多主库的话，可以用环形配置，这样任意一个节点的修改都可以同步到所有节点。

（3）数据库分表、分区、分库

分表实现策略：分表就是将一个表分成多个表，比如有一个用户表，因为用户无限制地增长严重影响性能。假设有1000万条数据，可以每10万条数据建一个表，根据ID判断属于哪个表。

分区实现策略：分区是把存放数据的文件分成许多小块，分区后人表还是一张表，可以突破磁盘的读写能力。

分区的适用场景：

1.一张表的查询速度很慢

2.表中的数据可以分段

3.每次只是操作数据人一小部分，而不是全部

CREATE TABLE sales (
    id INT AUTO_INCREMENT,
    amount DOUBLE NOT NULL,
    order_day DATETIME NOT NULL,
    PRIMARY KEY(id, order_day)
) ENGINE=Innodb 
PARTITION BY RANGE(YEAR(order_day)) (
    PARTITION p_2010 VALUES LESS THAN (2010),
    PARTITION p_2011 VALUES LESS THAN (2011),
    PARTITION p_2012 VALUES LESS THAN (2012),
PARTITION p_catchall VALUES LESS THAN MAXVALUE);

分库实现策略：对数据库进行拆分，从而提高数据库的写入能力。

简单的分库就是把表分别存储在不同人数据库中

Mysql大数据优化方案

猜你喜欢