Decenas de millones de líneas de archivos csv grandes se pueden importar rápidamente a mysql

Recientemente traté de importar archivos csv, porque Taicai usaba ventanas gráficas normales para importar antes, pero la velocidad era muy lenta, así que hice un resumen:

Actualmente tengo dos métodos aquí:

1. Importación de Windows mysql workbench (ámbito de aplicación: sin base de datos, el archivo csv que se importará es relativamente pequeño, aplicable a no más de 10,000 líneas) [Lento]

2. Importación imperativa      (ámbito de aplicación: comprender los comandos de la base de datos, importar millones de filas de big data) [rápido]

1. Gráfico

Interfaz gráfica, busque el inicio en la esquina inferior izquierda de la computadora y busque el software de visualización wokbench. Lo que falta es que no descargué su programa de visualización incluido cuando instalé mysql, así que puedo resolverlo en Baidu.

 Después de ejecutar el programa, ingrese root

 Haga clic derecho en el espacio en blanco en la figura a continuación, Crear esquema para crear una nueva base de datos

 Luego busque la esquina izquierda de la base de datos recién creada, haga clic para expandir, haga clic con el botón derecho en la tabla y seleccione Asistente de importación de datos de tabla.

 Seleccione la ruta del archivo csv y haga clic en siguiente

 Luego, la siguiente página piensa que no hemos creado una tabla, por lo que su opción predeterminada es crear una tabla para nosotros, puede hacer clic en siguiente directamente

 Luego haga clic en siguiente nuevamente, él nos ayudará a elegir el tipo de columna, también puede elegirlo usted mismo, la vista previa está a continuación

 Continúe haciendo clic en siguiente, y luego haga clic en siguiente para completar el trabajo. Verá que ya hay tablas debajo de la tabla de la base de datos que creó. Recuerde actualizar manualmente la lista de la izquierda antes de que aparezca la tabla.

 Cuando el bloguero estaba importando, había demasiados datos y la importación era demasiado lenta, por lo que usó la importación imperativa.

2. Importación imperativa

Solo se necesitaron 13 segundos para probar 1 millón de filas de datos. Primero, busque mysql 8.0 Command Line Client en la barra de menú de inicio de Windows.

 Al hacer clic para ingresar, podrá ingresar la contraseña. Si ingresa la contraseña incorrecta, se bloqueará directamente. Esto es lo que hice. Al final, tuve que desinstalar y reinstalar mysql

Luego comienza a escribir el comando

 primero entrar

show variables like '%secure%';

Luego presione Enter, si aparece secure_file_priv=' ', felicidades, puede ir directamente al siguiente paso,

Si no está vacío, por ejemplo, algunas rutas están en C:/Program Data/MySQL Server 8.0/Uploads/ Tenga en cuenta que Program Data aquí es una carpeta oculta, debe hacer clic en la vista de carpeta oculta arriba para verla . necesita modificar el archivo my.ini en el directorio de instalación de mysql. La ubicación se muestra en la figura a continuación. Puede crearlo y modificarlo en el escritorio, y luego arrastrarlo y soltarlo.

Nota: si no se encuentra el archivo my.ini, existe una alta probabilidad de que este archivo se encuentre en alguna de las rutas ingresadas anteriormente (la fuente naranja se refiere a algo), y puede encontrar la ubicación a lo largo de algunas rutas . ,

El contenido del archivo my.ini es el siguiente:

secure_file_priv=''

 A continuación, reinicie mysql.

Vuelva a la ventana de comandos ahora mismo

show variables like 'local_infile';

El resultado es desactivado y debe cambiarse a activado.

set global local_infile=on;

Luego, debe enfrentar su archivo csv, crear una nueva base de datos en la base de datos y luego crear una nueva tabla en ella haciendo clic con el botón derecho del mouse en Table.Personalmente recomiendo el método gráfico anterior para permitir que mysql lo ayude a identificar el tipo de cada columna y luego cree una tabla para comparar. De lo contrario, la importación siempre informará un error más adelante. Tal vez no entiendo los tipos lo suficientemente bien.

El siguiente paso es iniciar el comando de importación. Aquí hay una sugerencia. Se recomienda que el archivo csv se coloque en la carpeta con algunas rutas naranjas arriba, lo que puede reducir algunos problemas innecesarios.

show databases;

ver todas las bases de datos

use 某某数据库;

Seleccione la base de datos y reemplácela con su propia dirección de archivo csv a continuación

load data infile 'C:/ProgramData/MySQL/MySQL Server 8.0/Uploads/1.csv' #换成自己地址
into table ship_info #换成你自己表名
fields terminated by','optionally enclosed by '"' escaped by '"'
lines terminated by '\r\n';

Presiona Enter y listo, puedes regresar y actualizar para ver si hay una tabla. El gráfico de éxito es el siguiente.

Supongo que te gusta

Origin blog.csdn.net/qq_43644046/article/details/128934336
Recomendado
Clasificación