Pyspark“在读取Json文件时，无法解析'`keyName_1`'给定的输入列:[keyName_1,keyName_2,keyName_3]\n”

Question

raw = sc.textFile(path)
dataset_df = sqlContext.read.json(raw)

dataset_df.select('countryName', 'city', 'age')

有人知道这背后的原因吗？

提前谢了。

Answer 1

最后，我找到了解决办法：

所以问题是由这样一个事实引起的，即我正在读取的一些json文件可能没有我要查找的所有密钥。正是在这种情况下，文件没有特定的键，我得到了我报告的错误。为了解决这个问题，我只需要检查一下在这个特定的json文件中是否找到了一个密钥。如果找不到它，我就用none替换它（这可以是我用来指示缺少的值的任何值）。

以下是结果代码：

raw = sc.textFile(path)
dataset_df = sqlContext.read.json(raw)

all_columns_being_used = ["countryName", 'city', "age"]

for column_name in all_columns_being_used:
                if not column_name in dataset_df.columns:
                    pre_feature_set = dataset_df.withColumn(column_name, lit(None))