排除Transformation Errors

当运行session时,会产生大量的Transformation Errors,这些Error会致使性能变慢session

1 Transformation Errors致使性能下降的缘由
  当有大量记录有Transformation Errors时,Integration Service会进行以下操做而下降性能
    1) 查明引发error的缘由
    2) 从数据流中将有error的记录排除
    3) 将该error数据写入session log

2 什么状况下会致使Transformation Errors
  Transformation errors一般会在以下状况发生,若错误集中在某些特定的组件,就要仔细评估它们的约束条件
    1) 字段类型转换错误
    2) mapping中有逻辑冲突
    3) 条件设定错误(里面有null值)

3 关于最大error记录数限制
  关于Transformation Errors是有最大数量限制的
  当未设置最大error记录数限制时,则Integration Service会一直处理下去直到全部数据处理完毕
  当设置最大error记录数限制时,则Integration Service在处理中,当发现超过这个限制时,会中止session
app

4 下降session的tracing level
  当数据有大量包含Transformation error的记录时,也可经过下降session的tracing level实现性能提高
  即经过减小写入session log的内容(主要是error记录信息)来节省I/O时间,从而总体上减小运行所花费时间
  但这种方式并不能根本解决性能,所以不推荐使用性能

相关文章
相关标签/搜索