DataStage问题汇总

IBM官方公布的已修正Datastage的BUG,
http://www-01.ibm.com/support/docview.wss?uid=swg21438499
个人觉得,DataStage的问题确实有点多,不信可以看官网Bug清单;

以下工作中使用DataStage遇到的一些组件问题及容易出错的操作问题总结,有不对的地方还请大神指点一二;

1.DS所在的操作系统

这次项目(银河ACRM)中DS采用的环境是借鉴了中投数据中心的经验,所以就选择了Red Hat Linux As 4 Update 8 x86_64 + Datastage 7.5.2.1。
后来,在解决问题的过程中从发行注记中发现这么一句话“Windows/Linux platforms are only supported on Intel x86 32-bit Processor”,
经验证:此次选择了在Linux X86_64上安装DS造成后续的一些问题!
以后安装软件,一定要看软件的发行注记哦!如果适用于32bit的系统,那就别选择64bit的操作系统了!
建议:Red Hat Linux As 4 Update 8 x86 + Datastage 7.5.2.1

2.complier的选择

在32位系统中你不会遇到这个问题!
因为选择了64位的系统,但是Datastage 7.5.2.1只支持32位的系统,所以在环境变量中的编译器部分做如下调整:
IBM官方给出的配置:
APT_COMPILEOPT:-O -fPIC -Wno-deprecated -c -m32
APT_COMPILER:g++32 -m32
APT_LINKER:g++32 -m32
APT_LINKOPT:-shared -32 -Wl,-Bsymbolic,–allow-shlib-undefined
我自己的配置:
APT_COMPILEOPT:-O -fPIC -Wno-deprecated -c
APT_COMPILER:g++32 -m32
APT_LINKER:g++32 -m32
APT_LINKOPT:-shared -Wl,-Bsymbolic,–allow-shlib-undefined

3.Oracle lib的选择

因为是64位的操作系统,所以也就安装了Oracle 10g的64位客户端,在 ORACLEHOMElib,lib32DS使lib32, DSHOME/dsenv的LD_LIBRARY_PATH中添加$ORACLE_HOME/lib32.

4.Oracle字符集转换的问题

在操作系统环境变量,DS环境变量中设定NLS_LANG,而且还要做字符集映射,
在/home/dsadm/Ascential/DataStage/PXEngine.752.1/etc/oracle_cs.txt 中增加:
GBK ZHS16GBK
ZHS16GBK GBK
第一列是DS内置的字符集,第二列是Oracle的字符集,依照这个说法那就不需要第二行了,这里我还是加上了!
5.DS共享内存调优
在DS8.1之前的版本,命令SHMTEST只在Linux 32-bit上才有效,在Linux 64-bit上选入无限循环,IBM已在8.1中进行了修复!
BUG修复地址:http://www-01.ibm.com/support/docview.wss?rs=14&uid=swg1JR32113,此处不再摘录!

6.DS连接到Oracle RAC

如果Oracle数据库使用了RAC,曾经叫做(Oracle Parallel Server,OPS),用于数据抽取的数据库用户在拥有其他权限的同时,必须拥有访问SYS.GV_$INSTANCE的权限。
另外,还必须在Datastage Administrator中,添加Project的环境变量,APT_ORACLE_NO_OPS = 1。

7.DS中Oracle用户的权限问题

DS使用oracle时候要对以下视图赋权限
DBA_EXTENTS
DBA_DATA_FILES
DBA_TAB_PARTITONS
DBA_OBJECTS
ALL_PART_INDEXES
ALL_PART_TABLES
ALL_INDEXES
SYS.GV_$$INSTANCE (Only if Oracle Parallel Server is used or RAC)
datastage自带的联机帮助文档上说明这一点,
We suggest that you create a role that has the appropriate SELECT privileges, as follows:
CREATE ROLE DSXE;
GRANT SELECT on sys.dba_extents to DSXE;
GRANT SELECT on sys.gv_$instance to DSXE;
GRANT SELECT on sys.dba_data_files to DSXE;
GRANT SELECT on sys.dba_tab_partitions to DSXE;
GRANT SELECT on sys.dba_objects to DSXE;
GRANT SELECT on sys.all_part_indexes to DSXE;
GRANT SELECT on sys.all_part_tables to DSXE;
GRANT SELECT on sys.all_indexes to DSXE;
Once the role is created, grant it to users who will run DataStage jobs, as follows:
GRANT DSXE to ;

8.DS启动关闭

在datastage中使用uv -admin -stop关闭DS之前,要退出所有的客户端连接,必须使用ps -ef| grep ds来查看连接到DS的进程,找到PID用kill命令杀掉,
或者在director中清除掉所有的连接,之后再使用uv -admin -stop来关闭DS,否则存在DS连接的情况下关闭DS,使用uv -admin -start启动DS时,
可能无法启动dsrpcd如果尝试多次无法启动dsrpcd,请参考文章“Linux环境下Datastage的dsrpc追踪方法”;最后的办法就是重启机器!

9.抽取速度慢的问题

Datastage 7.5.2 抽取Oracle数据太慢,检查JOB日志发现,JOB运行时检查/home/dsadm/Ascential/DataStage/Configurations目录下的default.apt文件,
此文件用于用于指定DS的节点,一般是每个CPU对应一个节点,而我的文件中只有一个节点,依据CPU个数增加节点数,重启DS。
在此抽取时,监控JOB发现多个节点同时使用,抽取速度剧增!

10.MS SQL SERVER中TEXT类型转换

Datstage通过ODBC获取MS SQL Server的数据时,将text类型字段默认为Longvarchar,view data时出错,将以在自定义SQL语句中使用convert将text转化为varchar(4000),
并将字段类型改为varchar,否则会出现错误:DSP.Open GCI $DSP.Open error -100.

11.DS抽取抽取Oracle数据时默认将空格转换为NULL

Datastage 7.5.2.1中,DS中的Oracle Stage从Oracl抽取数据时,默认把空格转换为NULL,即使将DS环境变量中的APT_ORACLE_PRESERVE_BLANKS设置为True也无济于事。
经查找,IBM官方认为这是个bug,建议升级打补丁.
补丁地址:http://www-01.ibm.com/support/docview.wss?rs=14&uid=swg1JR33670
打补丁之前,请备份DS的整个目录,然后再打补丁!
我自己打补丁时,关闭了DS相关的所有进程,但是安装提示有错误,让去找系统管理员,但是查看/home/dsadm/Ascential/patches/patch_JR35216/log没有发现错误。
安装时的错误提示:
Upgrading the Stage …
An error has occurred during DataStage initialization
Please contact the system administrator
Error code: 2 2
Done!
幸运的是重新启动DS,一切正常,而且通过设定DS环境变量中的APT_ORACLE_PRESERVE_BLANKS,就可以控制空格向NULL的转换了!
幸运是短暂的,打补丁之后,从ODBC抽取SQL Server数据的JOB报错了,看样子是因为补丁的问题!
错误信息:
main_program: Fatal Error: Fatal: Shared library (drsenu.so) failed to load: errno = (2),
system message = (/home/dsadm/Ascential/DataStage/DSEngine/lib/drsenu.so: undefined symbol: DSCUVTextMark)
虽然打补丁之前有备份,恢复回去是没有问题的,所以先想想办法去解决的!
在网上找到了一个解决办法,相同的错误,只是别人遇到的是$DSHOME/lib/dsdb2enu.so: undefined symbol: DSCUVTextMark,那就试一下的!
地址:http://www.docin.com/p-42820466.html
先备份$DSHOME/etc/operator.apt文件,使用VI编辑该文件,将dscapiop dscapiop 1修改为dscapiop @dscapiop 1,保存退出!
关闭DS,重新启动!不知道为什么这么干!寻遍官方文档都没找到一点相关内容,网上给出的解决办法,当前问题是解决了,但是依据是什么呢?
会不会因此而产生其他的潜在问题?!
在这里鄙视一下DS!

12.JOB排错,开启详细日志输出

日志提示有警告,可是不知道是哪个stage提示警告,那么设置APT_DUMP_SCORE = TRUE,可以在log的警告信息中看到stage名称。
另外,还有一些选项用于log日志输出。
内存使用情况,APT_PM_PLAYER_MEMORY = TRUE
CPU使用时间,APT_PM_PLAYER_TIMING = TRUE
数据抽取条数,APT_RECORD_COUNTS = TRUE

13.DS性能调优

详见官方文档。
APT_DEFAULT_TRANSPORT_BLOCK_SIZE = 131072 改为 APT_DEFAULT_TRANSPORT_BLOCK_SIZE = 1048576
APT_BUFFER_MAXIMUM_MEMORY = 3145728 (3 MB) 改为 APT_BUFFER_MAXIMUM_MEMORY = 6291456 (6 MB)
APT_BUFFER_FREE_RUN = 0.5 改为 APT_BUFFER_FREE_RUN = 0.6

14.DS运行中发现的Oracle DB的问题

DS运行时,LOG日志报错,竟然都是TNS和ORA的错误,尤其是并行多个JOB时,有JOB失败。
请寻求DBA协助,做数据库的优化!

15.DS中对Oracle中特殊字符的处理(例如:# $)

DS_ENABLE_RESERVED_CHAR_CONVERT = TRUE 处理特殊字符#,$

16.Transformer stage中的substr功能

Transformer stage中的substr功能在抽取数据时,按字符对象截取字符,可是加载至目标库时,是按字节计算长度。
尤其是对含有中文的字段截取时,有些中文字符的最后一个字符被截成了乱码,在加载至目标表时报错,
可以在/home/dsadm/Ascential/DataStage/Scratch文件夹下bad文件中找到出错的数据条目。、
建议:
对于含有中文的字段,目标表的字段长度尽可能的与源表字段长度一致。

17.从MS SQL Server 2005抽取数据至Oracle时,中文乱码解决

NLS为GBK,view数据时正常,但是抽取至Oracle时,中文乱码。
在Transformer中把中文字段的extend都设置为unicode。
- 原文地址:http://www.bi168.cn/>>http://www.bi168.cn/thread-370-1-1.html

18、服务更新未生效

服务重新部署前需先取消部署,然后重新编辑、部署;

19、服务参数传入失败

如果参数为多个(一个以上)或者参数值为多个必须将该勾选勾选中;

20、服务只返回了第一条数据

如果输出数据条数为多行(一行以上),必须将返回到数组中勾选上;

21、服务返回数据中文乱码

如果DataStage输出内容是中文,需将中文列的Extended属性设置为Unicode;

22、运行报错,空数据列未设置运行为空

如果DataStage输出列中含有空数据,需将该列Nullable属性设置为Yes;

23、编译报错,未设置运行多实例及启用信息服务

在DataStege建立作业时,需将作业属性–>General–>(允许多个实例)Allow Multiple Instance及(启用信息服务)Enabled for Information Services属性选中;

24、编译报错,找不到模型字段

定义查询数据输出模型时,定义的数据输出模型必须与查询SQL返回的数据一致,包括列名、数据类型、数据长度、数据精度都必须一致;

25、运行失败,数据输出中存在空数据列,找不到映射实体
使用Transformer 控件中NullToValue对空数据列进行处理,如果输出的数据中存在某列或某行为空数据,那么必须使用该函数该列进行处理。
NullToValue (输入列,空替换值)适用所有类型,
NullToEmpty(输入列) 用于字符类型,默认输出空数据列,
NullToZero (输入列)用于数值类型,默认输出0.00;

26、服务短时间(10秒内)连续调用报错(axis2ns1:Server)

服务部署,程序属性设置时一般不用设置,是默认生成的,但因为前期对IIS部署服务进行压力测试,发现该不正确导致,服务连续调用失败,由于此处修改配置为灰色,无法编辑,如果需要修改,需将部署好的服务导出到本地,修改配置文件后,再导入到项目中重新部署。

27、导入的表定义中文乱码

由于分公司环境有一点问题,导入后,所有的中文都会乱码,出现全部为( ?)问号的情况,所以目前需手动修改对应中文乱码部分;

猜你喜欢

转载自blog.csdn.net/u012324101/article/details/53609780