在Mule中使用Dataweave动态合并两个CSV文件

Question

我从不同的来源获得不同长度的CSV文件。CSV 中的列是不同的，唯一的例外是每个 CSV 文件将始终有一个 Id 列，可用于绑定不同 CSV 文件中的记录。一次需要处理两个这样的 CSV 文件。该过程是从第一个文件中获取 Id 列并匹配第二个 CSV 文件中的行，并创建包含第一个和第二个文件中内容的第三个文件。id 列可以在第一个文件中重复。例如，下面给出。请注意，第一个文件可能有 18 到 19 个不同数据列的组合，因此，我无法在 dataweave 中对转换进行硬编码，并且每次都有可能添加一个新文件。动态方法是我想要实现的。因此，一旦编写，即使添加了新文件，逻辑也应该有效。这些文件也变得非常大。

示例文件如下所示。

CSV1.csv
--------
id,col1,col2,col3,col4
1,dat1,data2,data3,data4
2,data5,data6,data6,data6
2,data9,data10,data11,data12
2,data13,data14,data15,data16
3,data17,data18,data19,data20
3,data21,data22,data23,data24

CSV2.csv
--------
id,obectId,resid,remarks
1,obj1,res1,rem1
2,obj2,res2,rem2
3,obj3,res3,rem3

Expected file output -CSV3.csv
---------------------
id,col1,col2,col3,col4,objectid,resid,remarks
1,dat1,data2,data3,data4,obj1,res1,rem1
2,data5,data6,data6,data6,obj2,res2,rem2
2,data9,data10,data11,data12,obj2,res2,rem2
2,data13,data14,data15,data16,obj2,res2,rem2
3,data17,data18,data19,data20,obj3,res3,rem3
3,data21,data22,data23,data24,obj3,res3,rem3

我在考虑使用pluck来获取第一个文件的列值。我的想法是在转换中获取列，而不是硬编码它。但是我收到了一些错误。在此之后，我的任务是搜索id并从第二个文件中获取值

{(
   using(keys = payload pluck $$)
   (
     payload map 
     ( (value, index) ->
       { 
         (keys[index]) : value

       }
     )
   )
 )}

我在使用pull时遇到以下错误

Type mismatch for 'pluck' operator
     found :array, :function

    required :object, :function

我正在考虑在第二个文件的id上使用groupBy，以便于更好地搜索。但需要关于如何在一次转换中附加内容以形成第三个文件的建议。

Answer 1

工作表达式如下所示。删除id应在默认值之前进行

var file2Grouped=file2 groupBy ((item) -> item.id)
---
file1 map ((item) -> item ++ ((file2Grouped[item.id])[0] - 'id' default {}))

Answer 2

由于您想在不重命名列名的情况下组合两个CSV，因此可以尝试如下操作

var file2Grouped=file2 groupBy ((item) -> item.id)
---
file1 map ((item) -> item ++ ((file2Grouped[item.id])[0] default {}) - 'id')

输出

id,col1,col2,col3,col4,obectId,resid,remarks
1,dat1,data2,data3,data4,obj1,res1,rem1
2,data5,data6,data6,data6,obj2,res2,rem2
2,data9,data10,data11,data12,obj2,res2,rem2
2,data13,data14,data15,data16,obj2,res2,rem2
3,data17,data18,data19,data20,obj3,res3,rem3
3,data21,data22,data23,data24,obj3,res3,rem3