数据采集 ETL 工具 bboss-datatran v6.7.2 发布，bboss-datatran 是一款基于 java 语言开发的数据采集同步工具，提供数据采集、数据清洗转换处理和数据入库功能，支持在 Elasticsearch、关系数据库 (mysql,oracle,db2,sqlserver、达梦等)、Mongodb、HBase、Hive、Kafka、文本文件 / 日志文件、excel 文件、csv 文件、SFTP/FTP、http/https 等多种数据源之间进行海量数据采集同步；支持数据实时增量和全量数据采集；提供了作业任务控制 API、作业监控 api，支持作业启动、暂停 (pause)、继续（resume）、停止控制机制；支持http jwt服务认证和数据签名。基于 bboss 可轻松定制一款属于自己的 ETL 管理工具。
v6.7.2 功能改进
-
数据同步bug修复：执行destroy方法销毁作业时空指针异常问题修复
-
数据同步改进：优化作业销毁机制
-
数据同步改进：优化filelog插件日志采集多行识别处理增量采集机制和未结束多行记录回滚机制
-
数据同步改进：优化kafka输入插件并行消息处理机制
数据同步作业开发视频教程：
https://www.bilibili.com/video/BV1xf4y1Z7xu
bboss 案例大全
https://esdoc.bbossgroups.com/#/bboss-datasyn-demo
Quick Start
https://esdoc.bbossgroups.com/#/quickstart
开发交流
https://www.bbossgroups.com/forum.html
bboss插件清单
输入插件
| 插件 | 插码名称 | 说明 |
|---|---|---|
| DBInputConfig | DB数据库输入插件 | 配置DB数据源、查询sql、查询sql文件路径及文件名称,支持各种关系数据库，hive |
| ElasticsearchInputConfig | elasticsearch输出插件 | 配置elasticsearch数据源、queryDsl、queryDsl配置文件路径等 |
| HttpInputConfig | Http输入插件 | 配置http服务参数、服务地址、服务查询参数、ssl证书等 |
| FileInputConfig | 文件输入插件 | 对应文本类数据文件数据采集配置，源文件目录、Ftp/sftp配置 |
| ExcelFileInputConfig | excel文件输入插件 | excel文件采集映射配置（忽略行数、excel列号与目标字段名称映射、列默认值配置），包括excel源文件目录、Ftp/sftp配置 |
| HBaseInputConfig | hbase输入插件 | hbase连接配置、查询表配置、查询条件配置 |
| MongoDBInputConfig | mongodb输入插件 | mongodb连接配置、查询表配置、查询条件配置 |
| Kafka2InputConfig | kafka输入插件 | kafka消费端参数配置、主题配置、客户端消费组配置等 |
| Kafka1InputConfig | 低版本kafka输入插件 | 低版本kafka消费端参数配置、主题配置、客户端消费组配置等 |
输出插件
| 插件 | 插码名称 | 说明 |
|---|---|---|
| DBOutputConfig | 数据库输出插件 | 数据库地址配置、连接池配置、输出sql、更新sql、deletesql配置、sql文件路径配置 |
| ElasticsearchOutputConfig | Elasticsearch输出插件 | elasticsearch地址配置、http连接池配置、账号口令配置、elasticsearch连接参数配置、Elasticsearch输出表配置 |
| HttpOutputConfig | http/https输出插件 | http输出服务参数配置、连接参数配置、监控检查机制配置、ssl证书配置、输出服务地址配置 |
| FileOutputConfig | 文本文件输出插件 | 文本文件输出配置、文件切割记录数配置、文件行分隔符配置、文件名称生成规则配置、记录标题行配置 |
| ExcelFileOutputConfig | excel文件输出插件 | Excel文件输出配置、列号与字段映射配置、标题配置、sheet配置、列标题配置、文件切割记录数配置、文件行分隔符配置、文件名称生成规则配置 |
| Kafka2OutputConfig | kafka输出插件 | kafka输出参数配置、主题配置、记录序列化机制配置、记录生成器配置 |
| Kafka1OutputConfig | 低版本kafka输出插件 | 低版本kafka输出参数配置、主题配置、记录序列化机制配置、记录生成器配置 |
| CustomOupputConfig | 自定义输出插件 | 提供自定义处理采集数据功能，可以按照自己的要求将采集的数据处理到目的地，如需定制化将数据保存到特定的地方，可自行实现CustomOutPut接口处理即可 |
| DummyOutputConfig | dummy插件 | 调试作业使用，将采集的数据直接输出到控制台 |
bboss具备良好的扩展性，可以非常方便地扩展bboss数据采集插件。