shell大文件分割成小文件

上周做mysql的数据同步遇到的问题记录如下:

       将hive中的一张大表数据同步到mysql,由于公司对mysql的binlog的限制,因此如果一次全量同步的话(也就是一次load data)会触发mysql的binlog过大错误,因此,就需要将从hive中捞出的数据(在一个打文件中)文件分割成小文件进行load;

       使用shell的split解决这个问题:split -d -l  

再分别将小文件load即可