DataX源码分析十之Transformer源码分析

　　在DataX中，还有一个比较核心的组件，就是Transformer。本章我们将着重分析Transformer。
　　继上一篇文章：DataX源码分析九至Task初始化为啥需要Transformer
　　简单的ETL模型视图在上一节中。我们说到Transformer在ETL链路里面，就是数据转换的角色。比如，我们常见的账号、密码脱敏等等。比如，我们需要对ext字段的内容解析，然后，才决定是否需要此条Record。
　　代码初次入口
　　在这段代码中，完成了自定义Transformer的加载、初始化等等。
　　代码入口：com。alibaba。datax。core。taskgroup。TaskGroupContainer。TaskExecutorTaskExecutor。加载定义的内置的TransformerTransformerUtil。buildTransformerInfo（taskConfig）；
　　DataX内置Transformer
　　在DataX中，transformer有两处来源，一个是内置的。一个是自己实现的。如果是自己实现的话，套路还是类似插件的那种，通过transformer。json来加载的；具体请看下一小节。那么内置的有哪些呢？
　　代码入口：comalibabadataxcoretransporttransformerTransformerRegistry下面的transformer，看具体业务使用的场景而决定。static｛registTransformer（newSubstrTransformer（））；registTransformer（newPadTransformer（））；registTransformer（newReplaceTransformer（））；registTransformer（newFilterTransformer（））；registTransformer（newGroovyTransformer（））；｝DataXTransformer分类Simple类型的TransformerpublicabstractclassTransformer｛paramrecord行记录，UDF进行record的处理后，更新相应的recordparamparastransformer函数参数abstractpublicRecordevaluate（Recordrecord，Object。。。paras）；｝Proxy类型的Transformer这个其实就是一个Proxy，publicabstractclassComplexTransformer｛paramrecord行记录，UDF进行record的处理后，更新相应的recordparamtContexttransformer运行的配置项paramparastransformer函数参数abstractpublicRecordevaluate（Recordrecord，MapString，ObjecttContext，Object。。。paras）；｝
　　通过代码分析，两者都没有啥大的区别。ComplexTransformer通过ComplexTransformerProxy最终实现transformer调用。复杂的Transformer中的tContext是为了多传一些参数罢了。
　　DataX自定义Transformer加载初始化第一步：JOBTRANSFORMERtransformerListConfigurationtfConfigstaskConfig。getListConfiguration（CoreConstant。JOBTRANSFORMER）；第二步：校验dxgroovy是否只调用了一次functionName。equals（dxgroovy）functionNames。contains（dxgroovy）第三步：获取到每个transformer的组件的名称TransformerRegistry。loadTransformerFromLocalStorage（functionNames）；第四步：读取指定transformer的路径CoreConstant。DATAXSTORAGETRANSFORMERHOMEG：datax0。24dataxlocalstoragetransformerStringtransformerPathCoreConstant。DATAXSTORAGETRANSFORMERHOMEFile。separatoreach；第五步：读取指定的transformer的配置Configuration。from（newFile（transformerPathFile。separatortransformer。json））；第六步：通过transformer。json读取ClassNameStringclassNametransformerConfiguration。getString（class）；第七步：通过反射初始化transformerClasslt；？transformerClassjarLoader。loadClass（className）；第八步：注册transformer。registedTransformer。putTransformer转换将反射生成的Transformer再次打包。方便调用privatestaticTransformerInfobuildTransformerInfo（ComplexTransformercomplexTransformer，booleanisNative，ClassLoaderclassLoader）｛TransformerInfotransformerInfonewTransformerInfo（）；transformerInfo。setClassLoader（classLoader）；transformerInfo。setIsNative（isNative）；transformerInfo。setTransformer（complexTransformer）；returntransformerInfo；｝
　　Transformer封装，统一转换为Complex类型的Transformer大家有没有发现，即使你是Simple类型的Transformer，也会给你转换成Proxy类型的Transformer。有点意思〔无辜笑〕Transformer参数信息保存IntegercolumnIndexconfiguration。getInt（CoreConstant。TRANSFORMERPARAMETERCOLUMNINDEX）；transformerExecutionParas。setColumnIndex（columnIndex）；ListStringparasconfiguration。getList（CoreConstant。TRANSFORMERPARAMETERPARAS，String。class）；if（paras！nullparas。size（）0）｛transformerExecutionParas。setParas（paras。toArray（newString〔0〕））；｝其实这块没必要搞这么复杂。比如，我这边的宽表系统，按照约定，直接丢一个Record到业务方的代码里面。业务方喜欢怎么解析都可以。
　　总结通过分析自定义Transformer的加载过程中。我们有一次认识到了transformer。json类似这种文件的作用了。如果你自己开发一套插件系统的话，你可以把xx。json放在Resource目录下。这种，整体的结构会更加简单。Transformer的定制化开发，你可以按照自己的开发插件。如通过DataX内部来加载插件方式或者直接在里面改动DataX代码来集成。但是，我不推荐直接改代码的方式。还是得要解耦。
　　关于我
　　前去哪儿网技术专家！混迹中间件职场8年！分享各种Java中间件知识！