1 环境
Mysql5.7 Innodb
Centos7
Memory:25GB
CPU: 8 Cores
2 Load原理
csv文件要与表的编码一致utf-8
load跳过SQL解析，直接生成数据库的数据文件，导入前关闭索引，导入完成后更新索引；
load的速度与文件中一行数据的大小有关系，一行数据字节数过大，load速度就越快。
load如果对应的Mysql是InnoDB，会整个load 过程当作一个事务。中途异常中断，会回滚。
如何优化了load
1. 关掉自动提交
2. 禁掉唯一索引
3. 禁掉外键
这样能节省大量物理io
3 应用
replace
ignore
4 测试情况
140w行数据，load data：45s
insert 单行：8m
insert批量3m
insert批量：
10行 4s
100行 3.4s
1000行：3.4s
5000行：3.4s
mysql –uroot –p123456 -Dtest < /home/zj/create_table.sql
问题
原因：
指定local，表示文件在客户端，就不受--secure-file-priv影响
不指定local，文件必须在mysql服务端，要受到--secure-file-priv影响
这种情况需要保证导入文件在Mysql服务端，
secure_file_priv参数用于限制LOAD DATA, SELECT …OUTFILE, LOAD_FILE()传到哪个指定目录。
secure_file_priv 为 NULL 时，表示限制mysqld不允许导入或导出。
secure_file_priv 为 /tmp 时，表示限制mysqld只能在/tmp目录中执行导入导出，其他目录不能执行。
secure_file_priv 没有值时，表示不限制mysqld在任意目录的导入导出。
修改Mysql配置文件my.ini并重启Mysql
但是如果基于local模式导入，就不需要手上述限制，直接load即可。
load data [low_priority] [local] infile 'file_name txt' [replace | ignore]
into table tbl_name
[fields
[terminated by't']
[OPTIONALLY] enclosed by '']
[escaped by'\' ]]
[lines terminated by'n']
[ignore number lines]
[(col_name, )]
load data infile语句从一个文本文件中以很高的速度读入一个表中。使用这个命令之前，mysqld进程（服务）必须已经在运行。为了安全原因，当读取位于服务器上的文本文件时，文件必须处于数据库目录或可被所有人读取。另外，为了对服务器上文件使用load data infile，在服务器主机上你必须有file的权限。
1 如果你指定关键词low_priority，那么MySQL将会等到没有其他人读这个表的时候，才把插入数据。可以使用如下的命令：
load data low_priority infile "/home/mark/data sql" into table Orders;
2 如果指定local关键词，则表明从客户主机读文件。如果local没指定，文件必须位于服务器上。
3 replace和ignore关键词控制对现有的唯一键记录的重复的处理。如果你指定replace，新行将代替有相同的唯一键值的现有行。如果你指定ignore，跳过有唯一键的现有行的重复行的输入。如果你不指定任何一个选项，当找到重复键时，出现一个错误，并且文本文件的余下部分被忽略。例如：
load data low_priority infile "/home/mark/data sql" replace into table Orders;
4 分隔符
（1） fields关键字指定了文件记段的分割格式，如果用到这个关键字，MySQL剖析器希望看到至少有下面的一个选项：
terminated by分隔符：意思是以什么字符作为分隔符
enclosed by字段括起字符
escaped by转义字符
terminated by描述字段的分隔符，默认情况下是tab字符（\t）
enclosed by描述的是字段的括起字符。
escaped by描述的转义字符。默认的是反斜杠（backslash：\ ）
例如：load data infile "/home/mark/Orders txt" replace into table Orders fields terminated by',' enclosed by '"';
（2）lines 关键字指定了每条记录的分隔符默认为'\n'即为换行符
如果两个字段都指定了那fields必须在lines之前。如果不指定fields关键字缺省值与如果你这样写的相同： fields terminated by'\t' enclosed by ’ '' ‘ escaped by'\\'
如果你不指定一个lines子句，缺省值与如果你这样写的相同： lines terminated by'\n'
例如：load data infile "/jiaoben/load.txt" replace into table test fields terminated by ',' lines terminated by '/n';
5 load data infile 可以按指定的列把文件导入到数据库中。 当我们要把数据的一部分内容导入的时候，，需要加入一些栏目（列/字段/field）到MySQL数据库中，以适应一些额外的需要。比方说，我们要从Access数据库升级到MySQL数据库的时候
下面的例子显示了如何向指定的栏目(field)中导入数据：
load data infile "/home/Order txt" into table Orders(Order_Number, Order_Date, Customer_ID);
6 当在服务器主机上寻找文件时，服务器使用下列规则：
（1）如果给出一个绝对路径名，服务器使用该路径名。
（2）如果给出一个有一个或多个前置部件的相对路径名，服务器相对服务器的数据目录搜索文件。
（3）如果给出一个没有前置部件的一个文件名，服务器在当前数据库的数据库目录寻找文件。
例如： /myfile txt”给出的文件是从服务器的数据目录读取，而作为“myfile txt”给出的一个文件是从当前数据库的数据库目录下读取。
https://blog.csdn.net/weixin_44595372/article/details/88723191
https://dev.mysql.com/doc/refman/5.7/en/load-data.html
mysql -h 10.17.2.3 -u yxt -p123456 -e "load data infile '/data/down_job/knowledge/2020-03-01/org/part-00000-f3c278d0-4463-4726-92ed-0fd5c6a94bf5-c000.csv' into table table(orgid,department_name,department_count,department_id)"
用load data infile导数据到mysql数据库出现这个该问题，解决方法如下：
安全起见，连接mysql的语句需要添加–local-infile，
mysql -hlocalhost -uroot -p --local-infile
如果指定local关键词，则表明从客户主机读文件。如果local没指定，文件必须位于服务器上。使用load data local infile而不是load data infile
load data local infile '/tmp/test2.txt' into table t0 fields terminated by ',' enclosed by '"' lines terminated by '\n' (`name`, `age`, `description`);
成功导入数据:
转载于:https://www.cnblogs.com/FengGeBlog/p/9872749.html
多线程load数据
https://blog.csdn.net/speak_is_cheap/article/details/51050410
多线程死锁问题
