Streamsets使用过程中遇到的问题及解决办法

1、streamsets添加外部jar包时报错

界面上加载不出来stageLibrary,后台日志报错:

 java.net.UnknownHostException: archives.streamsets.com
网上找的类似的问题,但没有给出解决办法:https://issues.streamsets.com/browse/SDC-10236?page=com.atlassian.jira.plugin.system.issuetabpanels%3Aworklog-tabpanel

我这边仔细排查日志,发现有如下信息:

 INFO  ClassLoaderStageLibraryTask - Reading from Repository Manifest URL:
 http://archives.streamsets.com/datacollector/3.7.1/tarball/repository.manifest.json

解决办法:

把链接复制到浏览器是可以访问的,在主机上用curl命令却半天出不来结果,ping这个主机名也反应一会,但还是ping通了,最后配置了主机名和ip 的映射,解决了问题。

2、StreamSets日志报错

2019-04-29 14:34:01,070 [user:*?] [pipeline:-] [runner:] [thread:runner-pool-2-thread-38] [stage:] ERROR SupportBundleManager - Support bundle upload failed:
com.amazonaws.SdkClientException: Unable to execute HTTP request: s3.us-west-2.amazonaws.com
        。。。
Caused by: java.net.UnknownHostException: s3.us-west-2.amazonaws.com
        at java.net.InetAddress.getAllByName0(InetAddress.java:1280)
。。。

注:该错误不影响StreamSets流程执行

解决办法:

报错是由于streamsets部署内网,访问不了这个主机 s3.us-west-2.amazonaws.com,可以通过修改配置解决

1、修改配置文件
sdc.properties

Uncomment if you need to disable the facility for automatic support bundle upload.
bundle.upload.enabled=false

配置之后应该会报如下错误,其实也不影响任务正常运行,不想看到的话可以通过2中的方法解决:

java.io.IOException: Uploading support bundles was disabled by administrator.

https://ask.streamsets.com/question/649/how-do-i-adjust-the-log-level-for-a-single-class-or-package-in-sdc/
2、修改日志配置文件,或者在界面上改:配置 / Logs / Log Config
sdc-log4j.properties

log4j.logger.com.streamsets.datacollector.bundles.SupportBundleManager=INFO

3、StreamSets推送Directory目录下数据到Kafka报错

解决办法:

修改Directory组件的Buffer Limit,默认为128M,修改大小根据文件的大小程度决定。

4、汉化streamsets之后,不支持中文组件名称

解决办法:

由之前的正则[0-9A-Za-z_\\s]+修改为 ^[\u4e00-\u9fa5_a-zA-Z0-9]+$,这个正则支持中文,数字,下划线,字母

支持空格、-、_的正则正确写法为:^[\u4e00-\u9fa5_a-zA-Z0-9\\s-_]+$

在修改时注意项目引用的api的JAR与streamsets-datacollector-api的版本问题

猜你喜欢

转载自blog.csdn.net/zwahut/article/details/90634549