Spark：将字符串列转换为数组
如何将已作为字符串读取的列转换为数组列？即从下面的模式转换
scala> test.printSchema
root
|-- a: long (nullable = true)
|-- b: string (nullable = true)
+---+---+
| a| b|
+---+---+
| 1|2,3|
+---+---+
| 2|4,5|
+---+---+
至：
scala> test1.printSchema
root
|-- a: long (nullable = true)
|-- b: array (nullable = true)
| |-- element: long (containsNull = true)
+---+-----+
| a| b |
+---+-----+
| 1|[2,3]|
+---+-----+
| 2|[4,5]|
+---+-----+
如果可能，请同时共享scala和python实现。在相关说明中，从文件本身读取时如何处理它？我有约450列的数据，我想以这种格式指定的列很少。目前，我正在pyspark中阅读以下内容：
df = spark.read.format('com.databricks.spark.csv').options(
header='true', inferschema='true', delimiter='|').load(input_file)
谢谢。
问题答案：
有各种各样的方法，
最好的方法是使用split函数并强制转换为array<long>
data.withColumn("b", split(col("b"), ",").cast("array<long>"))
您也可以创建简单的udf来转换值
val tolong = udf((value : String) => value.split(",").map(_.toLong))
data.withColumn("newB", tolong(data("b"))).show
希望这可以帮助！
-
我正在使用Schembuf在带有套接字的计算机之间更改数据。要传输数据，我使用以下内容： 然而，我注意到Protobuf无法读取任何非int类型的接收数据（它将其分配给0）。果不其然，如果我不使用套接字，但试图用相同的代码片段返回消息，则会发生相同的情况： 我还指出： 那么，为什么我不能正确地将数据转换回字符串呢？如果这是一个参考问题，为什么protobuf不能读取字符数组数据或从字符数组转换的字
-
我有一个购物车php页面，在那里我显示客户端产品。在同一页中，我有一个表单，可以将客户的个人详细信息（如姓名、姓氏等）以及产品信息（如产品名称、数量等）直接发送到我的电子邮件地址。 现在，问题是，当我发送表单时，在我的电子邮件地址上，我收到了所有的信息，但没有产品细节，例如在订单电子邮件中的产品名称字段，我有ARRAY。 我看到将数组转换为字符串时出现问题，但我不知道如何转换，我尝试了几个示例，但
-
我正在做一些关于Java8流特性的练习，所以我想把这些知识应用到将数字串转换成整数列表的问题上 一个典型的测试看起来像
-
问题内容： 我有一个清单 我想将其转换为字典 我该怎么做？ 问题答案： 采用： 返回： 如果需要整数，请在以下位置更改分配： 这将给出：
-
问题内容： 我有一个pandas数据框。列之一包含一个列表。我希望该列为单个字符串。 例如，我的列表[‘one’，’two’，‘3’]应该简单地是‘1、2、3’ 给我[‘一个，两个，三个]，[‘四个’，’五个’，’六个’]，其中第二个列表来自下一行。不用说，对于数百万行，这种跨行连接不仅是不正确的，而且还会杀死我的内存。 问题答案： 在转换列表之前，您当然不应该转换为字符串。尝试： 另请注意，会将
-
问题内容： 我有一个列表格式，如下所示： 如何转换为包含如下所示元素的列表： 问题答案： 用途： 或使用将其视为JSON ： 以Python文字作为输入（因此Python源代码中的文本将为您提供一个值），以JSON输入。 演示： 只有当您的输入字符串中包含多个整数列表时，两者之间的区别才会发挥作用。JSON字符串包含unicode，在Python 2上无法正确解释，并且JSON类型只是支持的一部分