etl – Talend内部变量

2019年8月4日 260次阅读

我正在Talend中进行数据迁移项目,并且我需要处理一个包含许多列的大表,并将(旧)数据映射到新模型的不同值.

我有一个包含三列的唯一映射表.

例：

 Column name | Value old | Value new
      "col 1"         1           3
      "col 1"         3           2
      "col 2"         10          7
        etc

这样我就可以使用“列名”来引用与我需要映射的列相关的值.

使用“列名称”在映射表中使用旧值作为查找：当旧值匹配时,它将返回新值.

我可以为每个列手动执行此操作,但有数百个,这意味着每列重复至少一个哈希.

我很难过如何更简单地对原始表中的每个可能列进行一次这样做.

现在我正在做一个巨大的tMap并使用大量的查找：每列一个.

任何想法都表示赞赏.

–

我有一些额外的想法：
1)有没有办法知道LINK的名称加入两个组件？然后我可以更容易地重用相同的连接并在tMap上过滤

最佳答案 我可以使用tMemorizeRows解决它,使用tJavaFlex将整个映射表保存到内存中,然后使用例程读取它们.

我做的是,记住整个表,我只有一个表,有三列,第一个表示我必须做的映射类型,第二个是原始代码,第三个是替换代码.

记住数据后,我使用tJavaFlex创建三个列表,每列一个,然后将这些列表移动到全局变量映射.

然后我创建了一个例程,接收所有三个列表加上两个代码,第一个是映射名称(第一列过滤器),第二个是原始代码(第二列过滤器).使用两者我可以精确定位替换代码的位置,并返回它.

最后,当使用tMap读取主要数据流时,我为第一列的每个不同值创建了一个变量(即每种类型的映射一个),然后调用我使用oriinal代码开发的例程映射名称.

我在tMemorizeRows中使用的代码是：

开始代码

java.util.Set<String> iLista;
java.util.List<String> lLOV=new java.util.ArrayList<String>();
java.util.List<String> lS6=new java.util.ArrayList<String>();
java.util.List<String> lS8=new java.util.ArrayList<String>();

主要代码

lLOV.add(LOV_tMemorizeRows_1[icount]);
lS6.add(S6_NAME_tMemorizeRows_1[icount]);
lS8.add(S8_NAME_tMemorizeRows_1[icount]);

结束代码

globalMap.put("lLOV",lLOV);
globalMap.put("lS6",lS6);
globalMap.put("lS8",lS8);

常规代码

/*
 * Toma los valores generados de la LOV y matchea con S8, requiere la ejecucion del job
 * Genericos\GeneradorLOV
 * 
 * {talendTypes} String | String
 * 
 * {Category} MigracionDatos
 * 
 * {param} string(entrada.LOV) Identifica el tipo de LOV
 * 
 * {param} string(entrada.S6_NAME) Indica el valor del campo en Siebel 6 
 * 
 * {param} ((java.util.List<String>) globalMap.get("lLOV"))
 * 
 * {param} ((java.util.List<String>) globalMap.get("lS6"))
 * 
 * {param} ((java.util.List<String>) globalMap.get("lS8"))


 * 
 */
   public static String calculaLOV(String CampoLOV, String CampoS6, java.util.List<String> listaLOV, java.util.List<String> listaS6,java.util.List<String> listaS8   ) {
       /*
        * java.util.List<String> listaLOV = ( java.util.List<String>) globalMap.get("lLOV");
        * java.util.List<String> listaS6 = ( java.util.List<String>) globalMap.get("lS6");
        * java.util.List<String> listaS8 = ( java.util.List<String>) globalMap.get("lS8");
        */

       String C1 = CampoLOV;
       String C2 = CampoS6;

       int posicionC1 = listaLOV.indexOf(C1);

       // encontró el LOV
       if(posicionC1 >= 0) {

        java.util.List<String> listaS6_Iterada = new java.util.ArrayList<String>();

        // Genera la lista intermedia con los valores
        for (int contador = posicionC1; contador < listaLOV.size() ; contador++) {
            listaS6_Iterada.add(listaS6.get(contador));
            if(!listaLOV.get(contador).toString().equals(C1)) {break;}
        }

        int posicionC2 = listaS6_Iterada.indexOf(C2);
        if(posicionC2 >= 0) {

            int posicionFinal = posicionC1 + posicionC2;

            return listaS8.get(posicionFinal);
        } else {
            return "";
        }
       } else {
        return "";
       }
   }
点赞