火花DF。选择返回带有标题的csv的不正确列
我正在实现Spark数据源API v1的buildScan方法。
override def buildScan(requiredColumns: Array[String], filters: Array[Filter]): RDD[Row] =
我正在尝试读取一个带有标题的。csv文件。
val df = sqlContext.sparkSession.read
.schema(_schema_)
.option("header", "true")
.csv(_array_pf_paths_)
df.rdd
root
|-- A: string (nullable = true)
|-- B: string (nullable = true)
|-- C: string (nullable = true)
|-- D: string (nullable = true)
|-- E: string (nullable = true)
|-- F: string (nullable = true)
df.show()
-----------------------
A B C D E F
-----------------------
A B C D E F
a1 b1 c1 d1 e1 f1
a2 b2 c2 d2 e2 f2
a3 b3 c3 d3 e3 f3
a4 b4 c4 d4 e4 f4
a5 b5 c5 d5 e5 f5
------------------------
df.select(F) or df.select(E)
---
A
---
A
a1
a2
a3
a4
a5
---
但是buildScan（）内部的df.show返回正确的列。
我无法找到列映射到底哪里出错了。
共有1个答案
必须在列名称中使用双引号，如df.select（“d”）.show（）
-
我已经尝试使用vb使用eventbrite api有一段时间了。net，我使用来使用api，但是它只返回当我使用postman调用具有相同头的相同方法时，它返回具有
-
我使用以下方法将csv文件读入Spark： df=spark.read.format(file_type).options(header='true'，quote='\"'，ignoreleadingwhitespace='true'，inferschema='true').load(file_location) 这是正常行为还是读错了？ 更新：我将标记问题作为回答，因为下面的提示是有用的。然而，
-
我目前正在为一个即将开始的项目制作自己的关卡创建器(地图)。一切都很好，除了我在添加放大和缩小选项时遇到了一个问题。我有一个处理所有输入和渲染的类，因为我才刚刚开始。 如您所见，此类扩展了InputAdapter并实现了Application ationListener。 照相机是正字法照相机。cameraHelper是我做的一个助手类。我把摄像机的位置设在这里。cameraHelper.setP
-
问题内容： def size_of_dir(dirname): print(“Size of directory: “) print(os.path.getsize(dirname)) 是有问题的代码。dirname是一个目录，其中包含 130个 文件，每个文件约 1kb 。当我调用此函数时，它返回 4624 ，这 不是 目录的大小…为什么？ 问题答案： 此值（4624B）代表的大小 文件 是 描
-
我有一个servlet，它从JSP a中捕获select字段选项值的请求参数，并将其存储在请求范围中。 现在，这个servlet在处理后再次将我重定向到同一个JSP A，现在在JSP A中，我有相同的选项字段，还有类似的代码， 但由于某些原因，代码永远不会进入c：when和它直接进入otherwise部分。 虽然我已经广泛使用了JSTL，但由于某些原因我无法启动它。我知道值存在于请求范围中，并且可
-
我试图从获取列，并将其转换为。