oracle数据接入11选5平台租用搭建

oracle数据接入clickhouse
11选5平台租用搭建（企 娥:217 1793 408）
oracle数据接入包括两个方面：一是CDC，基于日志做数据变化的捕捉，包括增删改；二是增量数据的准实时导入，依赖于自增id或时间字段，相对于CDC而言部署较为简单，适用场景也仅适用于增量数据。在此仅介绍增量数据的接入。

一、clickhouse单机安装

升级OpenSSL

rpm -Uvh openssl-1.0.2k-12.el7.x86_64.rpm
安装Unixodbc

rpm -ivh unixODBC-2.3.1-11.el7.x86_64.rpm
安装clickhouse

rpm -ivh clickhouse*

二、oracle–>flume–>kafka

尝试使用kafka connect 中的jdbc source 连接oracle，一直连接失败。但是连接mysql是可以的，暂时未找到问题所在。

flume安装

（略）使用hdp中 Flume 1.5.2
kafka安装

（略）使用hdp中kafka 0.10.1
flume-ng-sql-source

编译：
为clickhouse写入方便，将默认分隔符由‘，’改为‘\t’；
以后可考虑增加json格式。
把flume-ng-sql-source-1.4.3.jar放到flume的lib目录下
oracle

建表

create table flume_ng_sql_source (
id varchar2(32) primary key,
msg varchar2(32),
createTime date not null
);