Java调用sqlldr在linux上导入数据

看过网上一大堆的Java调用sqlldr在Linux上导入数据的博客，决定自己也写一篇，在他们的基础上，尽量把能遇到每一个问题都罗列并且解决。

正文如下：

首先，要了解sqldlr的特点以及必要条件：

特点：

sql loader (sqlldr) 是cmd下的命令，可以把一些以文本格式存放的数据导入到oracle数据库中，是一种在不同数据库之间进行数据迁移的简单实用的工具。缺点是数度相对与imp/exp较慢，另外，对于bolb等类型的数据，处理起来较为麻烦。

必要条件：

sqlldr的命令格式：

sqlldr username/password@database control=*.ctl log=*.log

其中，*.ctl文件的格式如下（注意：要严格注意空格（都为一个空格），不然利用java调用会报错）：

LOAD DATA
CHARACTERSET ZHS16GBK   //数据的字符编码
INFILE "D://TEST.TXT"   //外部数据文件
INFILE "D://TEST1.TXT"    //可指定多个数据文件
APPEND INTO TABLE TEST    //向表中追加数据
FIELDS TERMINATED BY "|"    //数据分隔符（外部文件的数据以“|”分隔）
OPTIONALLY ENCLOSED BY '"'    //部分字段可以用双引号包起来
TRAILING NULLCOLS      //表中的字段没有对应的值时填充空值
( ID, NAME, ... )      //插入到表中的字段

在使用过程中，可能遇到如下问题：

1.碰到报错：Cannot run program “sqlldr”: error=2, A file or directory in the path name does not exist

首先，要判断你执行命令的这台linux上存在sqlldr这个程序（其实是废话，不存在写什么代码），

其次，可能是因为在java中调用操作系统命令的时候，此配置文件没有加载造成的。

你可以在java代码中输出一下环境变量，方法如下：

//输出环境变量
   Map<String, String> map = System.getenv();
         for(Iterator<String> itr = map.keySet().iterator();itr.hasNext();){
             String key = itr.next();
             System.out.println(key + "=" + map.get(key));
         }

看一下环境变量ORACLE_HOME是否为空、环境变量PATH中是否配置了sqlldr的路径

若没有，则有如下解决办法：

String dos = "sqlldr " + user + "/" + psw + "@" + dbname + " control=" + fileRoute + ctlfileName + " log=" + fileRoute + logfileName;
String[] cmd = {"/bin/sh","-c","echo $ORACLE_HOME;echo $LD_LIBRARY_PATH;$ORACLE_HOME/bin/"+dos };
Process process=Runtime.getRuntime().exec(cmd,new String[]{"ORACLE_HOME=/app/oracle/product/12.1.0/db"});

2.碰到报错：error while loading shared libraries: libevent-1.4.so.2: cannot open shared object file: No such file or directory

在报错中找到他缺失的*.so，然后用命令find -name libevent-1.4.so.2 ,找到该文件所在的目录，

将其添加到环境变量LD_LIBRARY_PATH中去，具体操作如下：

Process process=Runtime.getRuntime().exec(cmd,new String[]{"ORACLE_HOME=/app/oracle/product/12.1.0/db","LD_LIBRARY_PATH=/usr/local/lib:/app/oracle/product/12.1.0/db/lib:$LD_LIBRARY_PATH"});

3.碰到程序的 process.waitFor()返回值大于0

此时，可以写两个线程来解决，具体方法如下：

先将 Process process=Runtime.getRuntime().exec(...) 定义成final，以供内部类使用，其次一个线程处理InputStream，另外一个线程处理ErrorStream，代码如下：

final Process process=Runtime.getRuntime().exec();

// 处理InputStream的线程
   new Thread() {
    @Override
    public void run() {
     BufferedReader in = new BufferedReader(new InputStreamReader(process.getInputStream()));
     String line = null;
     try {
      while ((line = in.readLine()) != null) {
        System.out.println("output: " + new String(line.getBytes(), "UTF-8"));
      }
     } catch (IOException e) {
      e.printStackTrace();
     } finally {
      try {
       in.close();
      } catch (IOException e) {
       e.printStackTrace();
      }
     }
    }
   }.start();
   // 处理ErrorStream的线程
   new Thread() {
    @Override
    public void run() {
     BufferedReader err = new BufferedReader(new InputStreamReader(process.getErrorStream()));
     String line = null;
     try {
      while ((line = err.readLine()) != null) {
        System.out.println("err: " + new String(line.getBytes(), "UTF-8"));
      }
     } catch (IOException e) {
      e.printStackTrace();
     } finally {
      try {
       err.close();
      } catch (IOException e) {
       e.printStackTrace();
      }
     }
    }
   }.start();

此外，我在开发初期，还碰到了如下的问题，以供大家参考（当然了，用以上方法之后是不会遇到下面的问题的。。）：

在我碰到报错 Cannot run program “sqlldr”: error=2, A file or directory in the path name does not exist 的时候，我先百度到的方法如下：

String dos = sh -c export ORACLE_HOME=/app/oracle/product/12.1.0/db;$ORACLE_HOME/bin/sqlldr ...

这样子的话，直接放在linux上是可以执行成功的，但是利用java去调用，就只会执行分号之前的命令；

然后再次进行百度，将sh -c 后面的命令用单引号引起来，这样的方法同样直接放在linux上是可以执行成功的，但是利用java去调用，就会报如下错：

err: ORACLE_HOME=/app/oracle/product/12.1.0/db;$ORACLE_HOME/bin/sqlldr: -c:行0: 寻找匹配的 `'' 是遇到了未预期的文件结束符

err: ORACLE_HOME=/app/oracle/product/12.1.0/db;$ORACLE_HOME/bin/sqlldr: -c:行1: 语法错误: 未预期的文件结尾

然后，我将两句话分开执行，结果又回到了最初的错误，sqlldr的环境变量没有配置 （Cannot run program “sqlldr”）。

最后，附上完整的代码~~~

import java.io.BufferedReader;
import java.io.File;
import java.io.FileWriter;
import java.io.IOException;
import java.io.InputStreamReader;
import java.util.Iterator;
import java.util.Map;
import org.apache.log4j.Logger;

public class SqlldrIntfChnJf {

 private Logger logger = Logger.getLogger(SqlldrIntfChnJf.class);

 /**
  * 数据入库
  */
 public void sqlldrIntfChnJf(String tableCode, String type_id, String day_id, String dir_id) {
  DcInterfaceLog resultLog = new DcInterfaceLog();//我自己的日志类，可以删除，也可以自己写，以供数据库存日志使用
  FtpService fs = new FtpService();
  resultLog.setErrorMessage("入库失败");
  resultLog.setIsError("1");
  resultLog.setInterfaceCode(tableCode);
  try {
   String file_path = "/app/channelftp/datafile/bass/";// 文件路径
   String file_name = "re_a" + type_id + "_" + day_id + "_000000.AVL";// 数据文件名
   String tableName = tableCode;// 表名
   String fieldName = "(STATIS_DAY,LB_ID,UPP_AREA_CODE,AREA_CODE,DISTRICT_ID,CHANNEL_ID,BUSI_TYPE,LB_NAME,VALUE,IS_FLAG)";// 要写入表的字段
   String ctlfileName = "re_a" + type_id + "_" + day_id + "_000000.ctl";// 控制文件名
   String log_fileName = "re_a" + type_id + "_" + day_id + "_000000.log";// 日志文件名
   File ctlfile = new File(file_path + ctlfileName);
   if (!ctlfile.exists()) {// 如果文件不存在
    try {
     ctlfile.createNewFile();
    } catch (IOException e) {
     e.printStackTrace();
    }
   }
   File logfile = new File(file_path + log_fileName);
   if (!logfile.exists()) {// 如果文件不存在
    try {
     logfile.createNewFile();
    } catch (IOException e) {
     e.printStackTrace();
    }
   }
   stlFileWriter(file_path, file_name, tableName, fieldName, ctlfileName);
   File mkdirpath = new File(file_path + "bakval_" + dir_id);
   if (!mkdirpath.exists()) {// 如果文件夹不存在
    mkdirpath.mkdir();
   }
   // 要执行的DOS命令
   String username = "intf";
   String password = "Intf123#";
   String dbname = "crmcxdb";
   Executive(username, password, dbname, file_path, ctlfileName, mkdirpath.getAbsolutePath(), file_name,
     log_fileName);

   resultLog.setErrorMessage("文件入库成功");
   resultLog.setIsError("0");
   fs.WriteResultLog(resultLog);
  } catch (Exception e) {
   resultLog.setErrorStackInfo("文件入库失败，" + e);
   fs.WriteResultLog(resultLog);
  }
 }

 /**
  * * 写控制文件.ctl
  * 
  * @param fileRoute
  *            数据文件地址路径
  * @param fileName
  *            数据文件名
  * @param tableName
  *            表名
  * @param fieldName
  *            要写入表的字段
  * @param ctlfileName
  *            控制文件名
  */
 public void stlFileWriter(String fileRoute, String fileName, String tableName, String fieldName,
   String ctlfileName) {
  FileWriter fw = null;
  String strctl = "LOAD DATA\r\n" 
    + "CHARACTERSET ZHS16GBK\r\n" 
    + "INFILE '" + fileRoute + fileName + "'\r\n"
    + "APPEND INTO TABLE " + tableName + "\r\n" 
    + "FIELDS TERMINATED BY '|'\r\n" 
    + "TRAILING NULLCOLS\r\n"
    + fieldName;
  try {
   logger.info(fileRoute + "" + ctlfileName);
   fw = new FileWriter(fileRoute + "" + ctlfileName);
   fw.write(strctl);
  } catch (IOException e) {
   e.printStackTrace();
  } finally {
   try {
    fw.flush();
    fw.close();
   } catch (IOException e) {
    e.printStackTrace();
   }
  }
 }

 /**
  * 调用系统DOS命令
  * 
  * @param user
  * @param psw
  * @param Database
  * @param fileRoute
  *            文件路径
  * @param ctlfileName
  *            控制文件名
  * @param logfileName
  *            日志文件名
  */
 public void Executive(String user, String psw, String dbname, String fileRoute, String ctlfileName,
   String mkdirpath, String file_name, String logfileName) {
  // 要执行的DOS命令
  String dos = "sqlldr " + user + "/" + psw + "@" + dbname + " control=" + fileRoute + ctlfileName
    + " log=" + fileRoute + logfileName;
  
  String[] cmd = {"/bin/bash","-c","echo $ORACLE_HOME;echo $LD_LIBRARY_PATH;$ORACLE_HOME/bin/"+dos };
  
  try {
   //输出环境变量
   Map<String, String> map = System.getenv();
         for(Iterator<String> itr = map.keySet().iterator();itr.hasNext();){
             String key = itr.next();
             System.out.println(key + "=" + map.get(key));
         }
         //给文件赋权为777
   Runtime.getRuntime().exec("chmod 777 -R " + fileRoute + "" + file_name);
   Runtime.getRuntime().exec("chmod 777 -R " + fileRoute + "" + ctlfileName);
   Runtime.getRuntime().exec("chmod 777 -R " + fileRoute + "" + logfileName);
   //执行sqlldr命令  
   //final Process process = Runtime.getRuntime().exec("bash -c export ORACLE_HOME=/app/oracle/product/12.1.0/db;echo \"测试打印输出\"");   
   final Process process=Runtime.getRuntime().exec(cmd,new String[]{"ORACLE_HOME=/app/oracle/product/12.1.0/db","LD_LIBRARY_PATH=/usr/local/lib:/app/oracle/product/12.1.0/db/lib:$LD_LIBRARY_PATH"});

   // 处理InputStream的线程
   new Thread() {
    @Override
    public void run() {
     BufferedReader in = new BufferedReader(new InputStreamReader(process.getInputStream()));
     String line = null;
     try {
      while ((line = in.readLine()) != null) {
        System.out.println("output: " + new String(line.getBytes(), "UTF-8"));
      }
     } catch (IOException e) {
      e.printStackTrace();
     } finally {
      try {
       in.close();
      } catch (IOException e) {
       e.printStackTrace();
      }
     }
    }
   }.start();
   // 处理ErrorStream的线程
   new Thread() {
    @Override
    public void run() {
     BufferedReader err = new BufferedReader(new InputStreamReader(process.getErrorStream()));
     String line = null;
     try {
      while ((line = err.readLine()) != null) {
        System.out.println("err: " + new String(line.getBytes(), "UTF-8"));
      }
     } catch (IOException e) {
      e.printStackTrace();
     } finally {
      try {
       err.close();
      } catch (IOException e) {
       e.printStackTrace();
      }
     }
    }
   }.start();
   
   int exitValue = process.waitFor();

//如果返回值等于0，则表示入库成功，然后将已经入库的文件移走（即备份到其他地方），将.ctl和.log文件删除

if (exitValue == 0) { File startFile = new File(fileRoute + file_name); mkdirpath = mkdirpath.endsWith("/") ? mkdirpath : mkdirpath + "/"; startFile.renameTo(new File(mkdirpath + startFile.getName())); File controlFile = new File(fileRoute + ctlfileName); if (controlFile.exists()) { controlFile.delete(); } File logFile = new File(fileRoute + logfileName); if (logFile.exists()) { logFile.delete(); } logger.info("数据导入成功"); } else { logger.info("数据导入失败"); } } catch (Exception e) { logger.info("数据导入失败"); e.printStackTrace(); } finally { } }}

以上总结的问题应该是大家开发过程中能碰到的所有问题了，希望与网上其他的文章相比，能尽量的帮助大家解决问题！

此外，欢迎大佬们做出评价、提出更好的建议~~