ETL-kettle-一次性大数据量插入
思路:
计算sql要分页的数量，把所有的页数放在数据结果集中，抓取结果集里的数据，根据每一行的数据走一次转换job(oracle 经典三层嵌套分页算法)，直到所有结果里的数据走完。
oracle 经典三层嵌套分页算法(默认5000一分页):
SELECT b.rn,b.* from (
SELECT ROWNUM rn ,t.* FROM (SELECT * from 表名) t
WHERE ROWNUM <= (页数*5000)
) b
WHERE rn >= ((页数-1)* 5000 +1)
最后的实现的图
各个控件大概的含义是:
一、build_query_page_index转换:
用来放入分页用的相关变量，Pages页数和tableName表名，将他们作为局部变量供build_query_page转换使用，
如图:
selectPage控件如图：
set Variables控件如图:
Valid in the root job含义：变量仅仅在根任务中合法。
二、build_query_page转换:
根据build_query_page_index转换存储的局部变量生成的结果集，build_query_page转换在整个作业里的作用:相当于一个类似for循环中 int 的变量，转换如图：
selectCount控件，用来生成结果集使用,如图:
注意:打勾[替换SQL语句里的变量]
Select values控件，用来控制流量中的字段，如图:
Copy rows to result控件，用来生成结果集，如图：
三、loop_execute作业:
根据build_query_page转换中数据集里的数据依次执行分页数据的转换(A表存入B表)。
注意:
loop_execute作业要在高级部分的[对每个输入行执行一次]打上勾，如图:
loop_execute作业内容如图：
(1)se_values转换的用处:
存取上游的数据并放在局部变量中，供excute_by_page转换使用，转换如图:
Get rows from result控件的作用，获取上游结果集传入的数据，如图:
Set Variables控件，根据Get rows from result控件传来的数据生成局部变量如图：
Valid in the root job含义：变量仅仅在根任务中合法。
(2) excute_by_page转换的作用:
真正进行数据转换的地方,如图:
在这个转换里最主要的控件就是Table input，表输入控件，大体的内容如图:
抓取数据的方式主要采用的是oracle的经典三层嵌套分页算法。
