Instrucciones comunes de Sqoop
| Parámetros públicos | -conectar | Especifique la URL de conexión Por ejemplo: jdbc: mysql: // hadoop102: 3306 |
|---|---|---|
| -nombre de usuario | Especificar cuenta de inicio de sesión | |
| -contraseña | Especifique la contraseña de inicio de sesión | |
| -conductor | Especifique la clase de controlador [se puede inferir por URL, no es necesario que escriba] | |
| importar | Parámetros de control | |
| -adjuntar | Especificar si agregar datos al directorio especificado | |
| –Como archivo de texto | Los datos especificados se guardan en hdfs y se guardan en formato de archivo de texto | |
| –Como archivo de parquet | Los datos especificados se guardan en hdfs en formato Parquet (almacenamiento de columnas) | |
| –Comprimir 【-z】 | Especificar si usar compresión | |
| –Compresión-códec | Especifique el formato de compresión [gzip predeterminado] | |
| –Delete-target-dir | Si eliminar la ruta de destino (para evitar datos sucios después de que falle una parte de la importación) | |
| –Fetch-size | Especifique el tamaño de los datos extraídos de MySQL para cada lote | |
| –Num-mappers 【-m】 | Establecer cuántas tareas de mapa se utilizarán para importar datos en paralelo | |
| –Query 【-e】 | Especifique la exportación e importación de datos de MySQL a través de declaraciones SQL | |
| –Columnas | Especifique qué columnas de datos importar a MySQL | |
| -mesa | Especificar qué tabla exportar datos | |
| -dónde | Especificar las condiciones para importar a MySQL | |
| –Dividido por | Establecer según qué campo asignar a MapTask | |
| –Target-dir | Especifique la ruta para guardar en HDFS | |
| –Cadena-nula | Cuando la columna de la cadena es un valor nulo, qué carácter se debe escribir en HDFS (el valor nulo en la colmena se almacena como \ N) | |
| –Null-non-string | Qué carácter se debe escribir en HDFS cuando una columna que no es una cadena es un valor nulo (por ejemplo: -null-non-string '\ N') | |
| Importación incremental de datos | ||
| –Columna de verificación | Especifique qué campo para identificar los datos incrementales | |
| –Incremental {append / lastmodified} | añadir: solo importar datos nuevos, importar datos nuevos y modificados por última vez (generalmente a través del campo de tiempo para determinar si se deben modificar) | |
| –Último valor | Especifique el valor máximo de la última importación, el valor en la tabla siguiente son los datos incrementales | |
| Delimitador | ||
| –Campos-terminados-por | Especifique el separador de campo que se va a importar a HDFS | |
| –Líneas-terminadas-por | Especifique el separador entre líneas cuando los datos se guardan en HDFS | |
| Importar directamente a la tabla de colmena | ||
| –Importación-colmena | Especificar para importar datos directamente a la tabla de colmena | |
| –Sobreescritura de colmena | Especifique si desea importar como sobrescritura | |
| –Crear-tabla-colmena | Especifique para importar la tabla de la colmena, si la tabla de la colmena no existe, se creará automáticamente, si existe, se informará un error | |
| –Mesa-colmena | Especificar el nombre de la tabla de la colmena importada | |
| –Clave-de-partición-colmena | Especifique el nombre del campo de partición cuando se importan datos a la tabla de colmena | |
| –Valor-partición-colmena | Especificar el valor del campo de partición cuando los datos se importan a la tabla de colmena | |
| producción | ||
| Parámetros de control | ||
| –Columnas | Especifique qué columnas importar datos a mysql | |
| –Num-mappers 【-m】 | Especifique el número de mapeadores | |
| -mesa | Especifique en qué tabla mysql se importan los datos | |
| –Export-dir | Especifique la ruta de los datos en HDFS | |
| –Update-key | Especifique qué columna de datos HDFS y datos MySQL son los mismos datos | |
| –Update-mode {updateonly / allowinsert} | updateonly: si los datos son los mismos, solo actualice los datos, allowinsert: los mismos datos de actualización, diferente inserción | |
| –Input-cadena-nula | Especifica que los datos de la columna de cadena en HDFS son nulos, en forma de almacenamiento en MySQL | |
| –Input-null-non-string | Especifique que los datos de la columna que no son cadenas en HDFS sean nulos, en forma de almacenamiento en MySQL | |
| Delimitador | ||
| –Campos-de-entrada-terminados-por | Especifique el separador entre campos de datos en HDFS | |
| –Líneas-de-entrada-terminadas-por | Especifique el separador entre campos de línea en HDFS |
Descargar formulario
https://download.csdn.net/download/qq_38705144/14425591
