Canal de acumulación de datos

El registro sobre el canal de emisión. La sincronización de datos ha sido el uso de código abierto del canal de Ali, recientemente utilizó algunos de los problemas encontrados en el proceso, para grabarlo.

razón

Usamos el MySQL monitor de canal, a continuación, se envía a la MQ (formato personalizado) por el cliente. conjuntos de datos recientes colegas de actualización por lotes los datos una vez, probablemente más de 800 millones de dólares, lo que resulta en un cliente se producen oom, no el consumo.

soluciones

Modificar el lado del servidor del filtro, retirar el monitor de la mesa, de manera que el cliente no va a obtener los datos para esta tabla, y obtener una gran cantidad de datos al servidor del lado del cliente evitar. (De hecho, el problema fundamental es que el cliente escribió bruto, el método actual no modifica el código fuente sobre la base de una buena solución para el problema actual y, a continuación, el seguimiento en el cliente para optimizar los protocolos)

Hagámoslo alguna gestión personalizada, puede modificar instance.properties este archivo en tiempo real. Explora automáticamente reiniciará automáticamente después de los cambios de configuración y el servidor de canal se abre la exploración automática.

Publicados 298 artículos originales · ganado elogios 107 · Vistas de 140.000 +

Supongo que te gusta

Origin blog.csdn.net/ywl470812087/article/details/104874969
Recomendado
Clasificación