¡Hoy, presentaré el conocimiento relacionado con la implementación, operación y mantenimiento de IoTDB para ayudarlo a jugar IoTDB!
El texto tiene 1859 palabras y el tiempo de lectura estimado es de 5 minutos.
Fuera de la caja
El concepto de IoTDB es la operación y el mantenimiento simples del sistema, el inicio con un solo clic y el uso listo para usar. Comencemos desde el principio, debe instalar jdk8 o jdk11, descargar la versión de lanzamiento, http://iotdb.apache.org/Download/, la estructura del directorio después de la descompresión:
La memoria está en conf / iotdb-env.sh, configure MAX_HEAP_SIZE y elimine el comentario anterior. Todas las demás configuraciones están en conf / iotdb-engine.properties.
Es posible que deba agregar permisos de ejecución al script y luego iniciar el servidor en segundo plano:
nohup sbin/start-server.sh >/dev/null 2>&1 &
Estructura de directorios
Después de comenzar con la configuración predeterminada y escribir datos, el directorio raíz del proyecto generará las siguientes carpetas, todas bajo el directorio de datos:
Incluye principalmente 3 partes, datos / datos del archivo de datos, datos / sistema del archivo del sistema y datos / wal de registro previo a la escritura.
Directorio de datos: datos / datos
El método de organización del directorio es secuencial / datos desordenados -> grupo de almacenamiento -> número de partición (actualmente una partición por defecto) -> archivo de datos .tsfile y archivo de índice .resource.
El archivo de datos TsFile (Timeseries File) es un formato de archivo de almacenamiento de columnas diseñado por nosotros. Almacena principalmente los datos brutos de cada serie temporal. TsFile tiene una API separada y se puede utilizar como una herramienta independiente, al igual que Parquet y ORC. El archivo de datos se puede configurar con varios directorios, a través de la configuración del parámetro data_dirs.
Directorio del sistema: datos / sistema
Hay varios documentos importantes.
mlog.txt: registro de metadatos, que registra todas las operaciones de metadatos mediante la adición, incluida la adición y eliminación de grupos de almacenamiento, la adición y eliminación de series de tiempo, etc. Al reiniciar, se rehacerá el registro de este archivo y se omitirán los errores.
system.properties: propiedades del sistema, registra algunos parámetros que no se pueden cambiar después del inicio, como la granularidad de la partición, la precisión del tiempo, etc.
tlog.txt: información de etiqueta y atributo. Si no se crea, este archivo está vacío.
Directorio de registro previo a la escritura: data / wal
Los datos escritos se registrarán primero en el registro de preescritura y luego se escribirán en la memoria. Después de vaciar los datos de la memoria, se borrará el registro de preescritura. Cuando descubra que ha escrito algunos datos, el directorio de datos todavía está vacío. En este momento, los datos están en el registro y la memoria de preescritura.
Los registros previos a la escritura se organizan según los grupos de almacenamiento, y un archivo de registro previo a la escritura corresponde a un archivo TsFile.
Si desea vaciar a la fuerza los datos en la memoria, puede ejecutar el comando flush a través de la CLI. Conservará los datos de la memoria y escribirá el registro con claridad.
Registro del sistema: datos / registros
Además de los tres más importantes anteriores, también está el registro del sistema. Los archivos de registro se archivan según la fecha. Los que no tienen fecha son los de hoy.
Si hay algún problema, puede venir aquí para copiar el registro y enviárnoslo.
Reiniciado
Después de probar algunos, quiero comenzar de nuevo. Es muy conveniente. Elimine los tres directorios anteriores y reinícielo. Sigue siendo el IoTDB más hermoso de toda la calle.
migración de datos
Antes de la migración, es mejor usar la consola CLI para ejecutar un comando flush para conservar los datos de la memoria (de modo que no haya un registro de preescritura). Reiniciar IoTDB una vez tiene un efecto similar. La versión de IoTDB migrada debe ser la misma.
Introduzca varios escenarios:
1. Migre IoTDB en la máquina A a la máquina B (depuración, copia de seguridad de datos, etc.)
Puede copiar todo el directorio de datos (incluido el directorio de datos y el directorio del sistema), configurar el directorio raíz en la máquina B e iniciar IoTDB de la máquina B.
2. Migre los datos de parte del grupo de almacenamiento de IoTDB en la máquina A a la máquina B
Para migrar datos, se deben migrar los metadatos. Primero copie el directorio de datos / sistema de la máquina A a la máquina B, luego copie parte del directorio del grupo de almacenamiento en el directorio de datos de la máquina A a la máquina B y configure el directorio correspondiente en la máquina B. Simplemente inicie IoTDB de la máquina B.
3. Migre los metadatos de IoTDB en la máquina A a la máquina B, pero no los necesita.
Copie el directorio de datos / sistema de la máquina A en la ubicación correspondiente de la máquina B e inicie IoTDB de la máquina B.
Monitoreo del sistema
La memoria y la CPU del sistema de monitoreo aún están muy bien. Que todos se actualicen. Lo siguiente se aplica a las versiones posteriores a la 0.9.2, principalmente usando jvisualvm, y jdk8 se requiere localmente.
Si la máquina está ejecutando IoTDB, ingrese directamente jvisualvm en la línea de comando de la máquina para conectarse al proceso de IoTDB de la máquina.
Si desea ejecutar IoTDB en el servidor, primero debe modificar el archivo de configuración conf / iotdb-env.sh,
JMX_LOCAL="false"
JMX_IP="the_real_iotdb_server_ip" # 填写实际IoTDB的IP地址
Compruebe conf / jmx.password. Aquí se registran el usuario y la contraseña predeterminados de JMX, que se pueden modificar. Los permisos de cada usuario están en conf / jmx.access.
Luego establezca una conexión remota, el puerto predeterminado es 31999, puede verlo después de conectarse:
para resumir
Hoy presenté la estructura de directorios de IoTDB, revisé los métodos de migración y, finalmente, presenté el método de monitoreo del sistema. ¡Bienvenido a seguir y avanzar!