kettle从oracle同步数据到mysql遇到的一些坑

1.kettle连不上mysql数据库

 首先可以查看是不是缺少连接mysql所需要的jar,mysql-connector-java-5.1.47-bin.jar,如果没有的话可以去官网下载,这里方法链接。https://dev.mysql.com/downloads/connector/j/,选择平台独立,选择zip存档,下载解压缩就可以看到jar包。

在放入jar之后点击测试,然后报错了。错误代码是Access denied for user 'root'@'%' to database 'xxx'。

找了答案之后发现因为是远程数据库,所以要授予权限 grant all on xxx.* to 'root'@'%' identified by 'password' with grant option,本地访问一般不会出现这个问题。

2.执行kettle的ktr文件报错,找不到数据库中的表

刚开始以为是远程的数据库错了,然后数据库中没有对应的表,检查了发现连接的数据库是正确的,然后数据库下面也有对应的表,就一头雾水。

接着发现有的流程在表输入的步骤点击预览是可以看到数据的。

但是在执行数据同步合并的时候就找不到表了,仔细对比发现原来是表名的大小写的问题。

之前表输入的时候查询的表名是小写的,后面同步数据的时候用了大写的,然后mysql设置了大小写敏感,就找不到表了,真坑。(ps:因为建表语句是在本地导出来的,然后本地数据库没有设置大小写敏感,所以在本地是可以的。导出的表名默认是小写的,因为orcal数据用的习惯的原因,然后在步骤中用的表名都是大写,因为本地测试可用的原因就没有多想,还是要仔细啊)。

3.执行报错Duplicate entry '172806XXX' for key 'PRIMARY'

主键重复的错误,但是查了数据库表中数据是唯一的,又是一脸蒙逼。

查找之后发现是新旧数据库源的数据不一致造成的。

这个是新的数据源的查询语句。

SELECT
  'student'||id as id 
, XINGMING as xingming,
(case t.leibie 
when '1' then '1'
when '4' then '2'
when '2' then '3'
else ''
end) leixing
, JIEDAO_NAME as jiedao
, SHIFOUZAIZHI as shifouzaizhi
FROM student t
where quxian_id = '66304'
order by id asc

这个是旧的数据源的查询语句。

SELECT
 id 
, xingming
, leixing
, jiedao
, shifouzaizhi
FROM student t
where leixing IN ('1','2','3')
order by id asc

可以看到新的数据源的数据在leixing这一列比旧的数据源多出了null的选择。

4.mysql拿到的数据中文乱码

在数据库连接的编辑页面中选项一栏添加characterEncoding   gbk。

https://jingyan.baidu.com/article/922554467064c8851648f4ca.html

猜你喜欢

转载自blog.csdn.net/benbenniaono1/article/details/82222998