与管道PySpark配合时，输出列已存在错误

Question

我试图在PySpark中创建一个管道，以便为随机林准备数据。我使用的是Spark 2.2（2.2.0.2.6.4.0-91）。

我的数据不包含空值。我确定了分类列和数字列。

我正在对分类列进行编码并定义标签（选项['vae]）。然后，我使用VectorAssembler为我的特征获取一个向量列。

在管道中，在拟合和转换之后，我应该得到一个带有标签列和特征（向量）列的spark数据帧。

不幸的是，当拟合我得到这个错误与火花：

回溯（最后一次调用）：
文件/usr/hdp/current/spark2客户端/python/lib/pyspark.zip/pyspark/sql/utils.py”，第63行，在deco文件/usr/hdp/current/spark2客户端/python/lib/py4j-0.10.4-src.zip/py4j/protocol.py中，第319行，在get\u return\u value中。协议Py4JJavaError：调用o4563时出错。配合：Java语言lang.IllegalArgumentException：要求失败：输出列T\u Q\u DAV\u indexed已存在*

我在其他任何地方都没有发现这种错误。所以我在这里寻求帮助。

这是我的管道代码：

print("One Hot Encoding...")
stringIndexer  = [StringIndexer(inputCol=col, outputCol=col + "_indexed").setHandleInvalid("keep") for col in categoricalColumns]
encoders = [OneHotEncoder(dropLast=True, inputCol=col + '_indexed', outputCol=col+ "_class") for col in categoricalColumns]
label_stringIdx = StringIndexer(inputCol = options['vae'], outputCol = 'label')

print("Vectorizing...")
assembler = VectorAssembler(inputCols=[col+ "_class" for col in categoricalColumns] + numericCols, outputCol="features")

print("Pipeline...")
pipeline = Pipeline(stages = stringIndexer + encoders + [label_stringIdx] + [assembler])
    
print('Fit...')
pipelineModel = pipeline.fit(s_df)
    
print('Transform...')
s_df = pipelineModel.transform(s_df)
    
selectedCols = ['label', 'features'] + cols
s_df = s_df.select(selectedCols)

Answer 1

我也有同样的问题。

解决方案是消除列T\u Q\u DAV\u索引

• 在categoricalColumns中（只有T\U Q\U DAV）或

（我使用了第一个问题的名称）