Herramienta de sincronización de datos: instalación de canales

Hola a todos y bienvenidos a este blog. El bloguero es un novato que acaba de ingresar a la industria del Big Data. Utiliza su tiempo libre para compartir lo que ha aprendido y ayuda a los estudiantes que son como el bloguero que está en la etapa inicial. El nivel no es alto. , Si hay algún error u omisión, no dude en aclararme. En la actualidad, el blog personal solo tiene CSDN :, https://zhenyu.blog.csdn.net/gracias por su apoyo, gracias, y le
envío una frase: el asunto de hoy, hoy

Este blog explica principalmente: Herramienta de sincronización de datos: Instalación del canal

objetivos:

• Instalar Canal

Instrucciones importantes para la actualización de la versión

------ 1.Canal 1.1.x versión ( release_note ), hay un gran avance en el rendimiento y la función. Las mejoras importantes incluyen:

• La prueba de rendimiento general y la optimización han mejorado en un 150%. # 726 Referencia: Rendimiento
• Soporte nativo para monitoreo de prometheus # 765 Prometheus QuickStart
• Soporte nativo para la entrega de mensajes kafka # 695 Canal Kafka / RocketMQ QuickStart
• Soporte nativo para la suscripción binlog de aliyun rds (resuelva el análisis automático de conmutación activa / en espera / oss binlog sin conexión) Referencia: Aliyun RDS QuickStart
• Soporte nativo para la imagen de Docker # 801 Referencia: Inicio rápido de Docker

La versión 2.canal 1.1.4, marcó el comienzo de las capacidades de WebUI más importantes, introdujo el proyecto canal-admin, admite capacidades de gestión dinámica de canales orientadas a WebUI y admite capacidades de operación y mantenimiento de pantalla blanca en línea como configuración, tareas, registros, etc. Documento específico: Canal Admin Guía

Nota: La versión utilizada en este estudio canal1.0.24

Requisitos medioambientales

• Descarga: haz clic para descargar Cancal_ código de extracción: yujv
• Instalar ZooKeeper
• abrir la cremallera

mkdir /export/servers/canal
tar -zxvf canal.deployer-1.0.24.tar.gz  -C /export/servers/canal/

• Una vez completada la descompresión, ingrese al directorio / export / servers / canal /, puede ver la siguiente estructura

[root@node1 canal]# tree conf/ 
conf/
├── canal.properties
├── example
│   └── instance.properties
├── logback.xml
└── spring
    ├── default-instance.xml
    ├── file-instance.xml
    ├── group-instance.xml
    ├── local-instance.xml
    └── memory-instance.xml

• Primero observe canal.propertieslos primeros cuatro elementos de configuración del atributo común :

canal.id= 1
canal.ip=
canal.port= 11111
canal.zkServers=

canal.id es el número de canal. En un entorno de clúster, el ID de canal diferente es diferente. Tenga en cuenta que es diferente del server_id de mysql.
Ip no se especifica aquí, y el valor predeterminado es esta máquina, por ejemplo, el anterior es 192.168.1.120 y el número de puerto es 11111. zk se utiliza para grupos de canales.

• Veamos la configuración relacionada canal.propertiescon los destinos :

#################################################
#########       destinations        ############# 
#################################################
canal.destinations = example
canal.conf.dir = ../conf
canal.auto.scan = true
canal.auto.scan.interval = 5

canal.instance.global.mode = spring 
canal.instance.global.lazy = false
canal.instance.global.spring.xml = classpath:spring/file-instance.xml

------ Aquí canal.destinations= examplepuede establecer múltiples, como ejemplo1, ejemplo2, necesita crear dos carpetas correspondientes, y cada carpeta tiene un instance.propertiesarchivo.

• La administración de instancias de canal global usa Spring, aquí file-instance.xmleventualmente instanciará todas las instancias de destino:

<!-- properties -->
<bean class="com.alibaba.otter.canal.instance.spring.support.PropertyPlaceholderConfigurer" lazy-init="false">
	<property name="ignoreResourceNotFound" value="true" />
    <property name="systemPropertiesModeName" value="SYSTEM_PROPERTIES_MODE_OVERRIDE"/><!-- 允许system覆盖 -->
    <property name="locationNames">
    	<list>
        	<value>classpath:canal.properties</value>                     <value>classpath:${canal.instance.destination:}/instance.properties</value>
         </list>
    </property>
</bean>

<bean id="socketAddressEditor" class="com.alibaba.otter.canal.instance.spring.support.SocketAddressEditor" />
<bean class="org.springframework.beans.factory.config.CustomEditorConfigurer"> 
   <property name="propertyEditorRegistrars">
	   <list>
    		<ref bean="socketAddressEditor" />
       </list>
   </property>
</bean>
<bean id="instance" class="com.alibaba.otter.canal.instance.spring.CanalInstanceWithSpring">
	<property name="destination" value="${canal.instance.destination}" />
    <property name="eventParser">
    	<ref local="eventParser" />
    </property>
    <property name="eventSink">
        <ref local="eventSink" />
    </property>
    <property name="eventStore">
        <ref local="eventStore" />
    </property>
    <property name="metaManager">
        <ref local="metaManager" />
    </property>
    <property name="alarmHandler">
        <ref local="alarmHandler" />
    </property>
</bean>

------ Por ejemplo, si es canal.instance.destinationigual al ejemplo, se cargará el example/instance.propertiesarchivo de configuración

• Modifique el archivo de configuración de la instancia
  vi conf / example / instance.properties

## mysql serverId，这里的slaveId不能和myql集群中已有的server_id一样
canal.instance.mysql.slaveId = 1234

#  按需修改成自己的数据库信息
#################################################
...
canal.instance.master.address=192.168.1.120:3306
# username/password,数据库的用户名和密码
...
canal.instance.dbUsername = root
canal.instance.dbPassword = 123456
#################################################

• puesta en marcha

sh bin/startup.sh

• Ver registro del servidor

vi logs/canal/canal.log
---------------------------------
2013-02-05 22:45:27.967 [main] INFO  com.alibaba.otter.canal.deployer.CanalLauncher - ## start the canal server.
2013-02-05 22:45:28.113 [main] INFO  com.alibaba.otter.canal.deployer.CanalController - ## start the canal server[10.1.29.120:11111]
2013-02-05 22:45:28.210 [main] INFO  com.alibaba.otter.canal.deployer.CanalLauncher - ## the canal server is running now ......

• Ver registro de instancias

vi logs/example/example.log
-----------------------------------------
2013-02-05 22:50:45.636 [main] INFO  c.a.o.c.i.spring.support.PropertyPlaceholderConfigurer - Loading properties file from class path resource [canal.properties]
2013-02-05 22:50:45.641 [main] INFO  c.a.o.c.i.spring.support.PropertyPlaceholderConfigurer - Loading properties file from class path resource [example/instance.properties]
2013-02-05 22:50:45.803 [main] INFO  c.a.otter.canal.instance.spring.CanalInstanceWithSpring - start CannalInstance for 1-example 
2013-02-05 22:50:45.810 [main] INFO  c.a.otter.canal.instance.spring.CanalInstanceWithSpring - start successful....

• apagar

sh bin/stop.sh

resumen

-------- Los anteriores son los pasos de instalación de Canal.
Gracias por su apoyo. Si hay algo mal, por favor envíenos sus comentarios a tiempo. ¡Recuerde dar me gusta y apoyar!