Consulta de tabela MySQL

A divisão de tabelas é uma tecnologia de particionamento de banco de dados usada para dividir uma tabela grande em várias tabelas pequenas para melhorar o desempenho e a capacidade de gerenciamento do banco de dados. No MySQL, você pode usar vários métodos para particionar tabelas, como com base em intervalo, hash ou lista. A seguir irá apresentar em detalhes como o MySQL divide as tabelas e como realizar a consulta de dados após a divisão das tabelas.

Fragmentação baseada em hash

A fragmentação baseada em hash é uma estratégia de fragmentação de banco de dados que espalha os dados em várias subtabelas. Este método determina em qual subtabela os dados devem ser armazenados calculando um valor hash dos dados. A fragmentação baseada em hash pode ajudar a distribuir dados uniformemente, melhorar o desempenho da consulta e reduzir a carga em tabelas individuais. A seguir estão as etapas que detalham como dividir tabelas com base em hash:

Etapa 1: criar subtabela

Primeiro, você precisa criar várias subtabelas, cada uma armazenando uma parte dos dados. Normalmente, o número de subtabelas é um valor fixo, como 10 ou 100, dependendo das suas necessidades. O nome da subtabela pode ser gerado usando certas regras para que possa ser facilmente identificado durante consultas subsequentes.

Exemplo de criação de subtabela:

	CREATE TABLE orders_0 (
	order_id INT PRIMARY KEY,
	customer_id INT,
	order_date DATE,
	...
	);
	CREATE TABLE orders_1 (
	order_id INT PRIMARY KEY,
	customer_id INT,
	order_date DATE,
	...
	);
	-- 创建更多的子表...

Etapa 2: hash de dados

Ao inserir dados, você precisa calcular o valor hash dos dados e, em seguida, inserir os dados na subtabela correspondente ao valor hash. Normalmente, você selecionaria uma coluna como coluna hash e o valor dessa coluna será usado para calcular o valor hash.

Exemplo de inserção de dados:

	-- 计算数据的哈希值（示例使用MySQL的MD5哈希函数）
	SET @hash = MD5(CONCAT(customer_id, order_date));
	-- 根据哈希值决定插入到哪个子表中
	SET @table_number = ABS(CAST(CONV(SUBSTRING(@hash, 1, 6), 16, 10) AS SIGNED)) % 10; -- 10是子表数量
	-- 插入数据到对应的子表
	INSERT INTO orders_@table_number (order_id, customer_id, order_date, ...)
	VALUES (@order_id, @customer_id, @order_date, ...);

Neste exemplo, usamos a função hash MD5 para calcular customer_ido order_datevalor hash da soma e, em seguida, inserimos os dados em uma subtabela determinada por uma parte do valor hash.

Etapa 3: consulte o hash

Ao consultar, você precisa calcular o valor hash das condições de consulta e encaminhar a consulta para a subtabela correspondente. O método de cálculo do valor hash para condições de consulta deve ser consistente com o método usado ao inserir dados.

Dados de consulta de exemplo:

	-- 计算查询条件的哈希值
	SET @hash = MD5(CONCAT(@customer_id, @start_date));
	-- 根据哈希值决定查询哪个子表
	SET @table_number = ABS(CAST(CONV(SUBSTRING(@hash, 1, 6), 16, 10) AS SIGNED)) % 10; -- 10是子表数量
	-- 查询对应的子表
	SELECT *
	FROM orders_@table_number
	WHERE customer_id = @customer_id AND order_date >= @start_date;

Neste exemplo, usamos a mesma função hash e método de cálculo de valor hash usado para inserir os dados para determinar qual subtabela consultar. Em seguida, execute a operação de consulta na subtabela correspondente.

Otimização de desempenho e considerações

• Seleção de função hash:  Escolha uma função hash apropriada para garantir uma distribuição uniforme dos dados. Em geral, uma função hash deve distribuir os dados da maneira mais uniforme possível para evitar a sobrecarga de certas subtabelas.
• Número de subtabelas:  O número de subtabelas deve ser grande o suficiente para distribuir os dados uniformemente, mas não demais para evitar o aumento da complexidade do gerenciamento.
• Desempenho de consulta:  a fragmentação baseada em hash geralmente é adequada para modos de consulta específicos, como consultas de intervalo ou consultas de condições específicas. Outras consultas podem exigir a mesclagem de resultados de diversas subtabelas, o que pode aumentar a complexidade da consulta e a sobrecarga de desempenho.
• Manutenção:  a fragmentação baseada em hash requer manutenção cuidadosa, incluindo verificações regulares na distribuição de hash e migração de dados para garantir uma distribuição uniforme dos dados e evitar a sobrecarga de subtabelas.

Subtabela baseada em intervalo

A fragmentação baseada em intervalo é uma estratégia de fragmentação de banco de dados que divide os dados em diferentes subtabelas com base nas condições de intervalo dos dados. Este método é adequado para consultas baseadas em horário, área geográfica ou outros intervalos ordenados. A seguir estão as etapas que detalham como particionar tabelas com base no intervalo:

Etapa 1: criar subtabela

Primeiro, você precisa criar várias subtabelas, cada uma armazenando uma parte dos dados. Cada subtabela deve conter a mesma estrutura da tabela original, mas conter apenas dados dentro de um intervalo específico. Normalmente, você pode usar o prefixo ou sufixo da tabela para identificar a subtabela para que ela possa ser facilmente identificada em consultas subsequentes.

Exemplo para criar uma subtabela:

	CREATE TABLE orders_2023 (
	order_id INT PRIMARY KEY,
	customer_id INT,
	order_date DATE,
	...
	);
	CREATE TABLE orders_2024 (
	order_id INT PRIMARY KEY,
	customer_id INT,
	order_date DATE,
	...
	);
	-- 创建更多的子表...

No exemplo acima, criamos uma subtabela para cada ano, como orders_2023e orders_2024.

Etapa 2: roteamento de dados

Ao inserir dados, os dados precisam ser inseridos na subtabela correspondente de acordo com as condições de intervalo dos dados. Você pode decidir em qual subtabela os dados devem ser inseridos com base no valor de uma determinada coluna, como intervalo de datas, área geográfica, etc.

Exemplo de inserção de dados:

	-- 插入数据到特定子表（示例基于订单日期范围）
	INSERT INTO orders_2023 (order_id, customer_id, order_date, ...)
	VALUES (@order_id, @customer_id, @order_date, ...);
	INSERT INTO orders_2024 (order_id, customer_id, order_date, ...)
	VALUES (@order_id, @customer_id, @order_date, ...);

Neste exemplo, inserimos dados na subtabela correspondente com base no intervalo de datas do pedido.

Etapa 3: roteamento de consulta

Ao consultar, a consulta precisa ser roteada para a subtabela correspondente com base no escopo das condições de consulta. Isso geralmente requer a decisão de qual subtabela consultar com base nas condições de intervalo nos critérios de consulta.

Dados de consulta de exemplo:

	-- 查询特定范围内的数据
	SELECT *
	FROM orders_2023
	WHERE order_date BETWEEN @start_date AND @end_date;
	SELECT *
	FROM orders_2024
	WHERE order_date BETWEEN @start_date AND @end_date;

Neste exemplo, decidimos qual subtabela consultar com base no intervalo de datas dos critérios de consulta.

Otimização de desempenho e considerações

• Índices:  Crie índices apropriados em tabelas filho para acelerar as operações de consulta de intervalo. Normalmente, os índices precisam ser criados em colunas com base nas condições de intervalo.
• Desempenho de consulta:  a fragmentação de tabela baseada em intervalo é adequada para consultas baseadas em condições de intervalo. Outras consultas podem precisar ser executadas em diversas subtabelas e os resultados mesclados no nível do aplicativo.
• 维护： 定期维护子表，包括删除不再需要的数据和创建新的子表以容纳新数据。
• 查询路由算法： 查询路由算法应该与数据分布策略一致，以确保正确路由查询。

基于列表的分表

基于列表的分表是一种数据库分表策略，它根据某个列的值将数据分割到不同的子表中。这种方法适用于按照特定条件或分类进行查询的场景。以下是详细介绍如何基于列表进行分表的步骤：

步骤1：创建子表

首先，你需要创建多个子表，每个子表将存储一部分数据。子表应该包含与原始表相同的结构，但只包含符合特定条件的数据。通常，你可以使用表名的后缀或前缀来标识子表，以便后续查询时能够轻松识别。

示例创建子表：

	CREATE TABLE customers_active (
	customer_id INT PRIMARY KEY,
	name VARCHAR(255),
	...
	);
	CREATE TABLE customers_inactive (
	customer_id INT PRIMARY KEY,
	name VARCHAR(255),
	...
	);
	-- 创建更多的子表...

在上面的示例中，我们创建了两个子表，一个用于存储活跃客户，另一个用于存储不活跃客户。

步骤2：数据路由

在插入数据时，需要根据数据的特定条件将数据插入到对应的子表中。你可以使用某个列的值来决定数据应该插入到哪个子表中，例如客户状态、地理位置等。

示例插入数据：

	-- 插入数据到特定子表（示例基于客户状态）
	INSERT INTO customers_active (customer_id, name, ...)
	VALUES (@customer_id, @name, ...);
	INSERT INTO customers_inactive (customer_id, name, ...)
	VALUES (@customer_id, @name, ...);

在这个示例中，我们根据客户的状态将数据插入到对应的子表中。

步骤3：查询路由

在查询时，需要根据查询条件中的特定条件将查询路由到对应的子表。这通常需要根据查询条件中的列值来决定要查询哪个子表。

示例查询数据：

	-- 查询特定条件下的数据（示例查询活跃客户）
	SELECT *
	FROM customers_active
	WHERE registration_date >= @start_date;
	-- 查询不活跃客户
	SELECT *
	FROM customers_inactive
	WHERE last_activity_date < @cutoff_date;

在这个示例中，我们根据查询条件中的客户状态来决定要查询哪个子表。

性能优化和注意事项

• 索引： 在子表中创建合适的索引以加速查询操作。通常，根据查询条件的列需要创建索引。
• 查询性能： 基于列表的分表适用于按照特定条件进行查询的场景。其他查询可能需要在多个子表上执行，并在应用程序层合并结果。
• 维护： 定期维护子表，包括删除不再需要的数据和创建新的子表以容纳新数据。
• 查询路由算法： 查询路由算法应该与数据分布策略一致，以确保正确路由查询。