必需：org。阿帕奇。火花sql。一行

Question

我在尝试将spark数据帧的一列从十六进制字符串转换为双精度字符串时遇到了一个问题。我有以下代码：

import spark.implicits._
case class MsgRow(block_number: Long, to: String, from: String, value: Double )

def hex2int (hex: String): Double = (new BigInteger(hex.substring(2),16)).doubleValue

txs = txs.map(row=> 
        MsgRow(row.getLong(0), row.getString(1), row.getString(2), hex2int(row.getString(3)))
)

我无法共享txs数据帧的内容，但以下是元数据：

>txs
org.apache.spark.sql.DataFrame = [blockNumber: bigint, to: string ... 4 more fields]

但当我运行这个程序时，我得到了一个错误：

错误：类型不匹配；找到：MsgRow需要：org.apache.spark.sql.行MsgRow（row.getLong（0），row.getString（1），row.getString（2），hex2int（row.getString（3）））^

我不明白——为什么火花/scala期待一个行对象？我见过的例子中没有一个涉及到向行的显式转换，事实上大多数都涉及到一个匿名函数返回一个case类对象，就像我上面提到的那样。出于某种原因，谷歌搜索“必需：org.apache.spark.sql.行”只返回五个结果，没有一个与我的情况有关。这就是为什么我把标题做得如此不具体，因为误报的可能性很小。提前谢谢！

Answer 1

感谢@Ramesh指出我代码中的错误。他的解决方案是可行的，但它也没有提到与我的OP更直接相关的问题，即从map返回的结果不是一个数据帧，而是一个数据集。我所需要做的不是创建一个新变量，而是进行更改

txs = txs.map(row=> 
    MsgRow(row.getLong(0), row.getString(1), row.getString(2), hex2int(row.getString(3)))
)

到

txs = txs.map(row=> 
    MsgRow(row.getLong(0), row.getString(1), row.getString(2), hex2int(row.getString(3)))
).toDF

这可能是包含我的标题的大多数错误的简单答案。虽然@Ramesh的答案消除了这个错误，但我后来遇到了另一个错误，当我试图将这个结果连接到另一个数据帧时，这个错误与同一个基本问题有关。

Answer 2

您的错误是因为您正在将输出存储到同一个变量中，txs在返回MsgRow时需要Row。所以改变

txs = txs.map(row=> 
        MsgRow(row.getLong(0), row.getString(1), row.getString(2), hex2int(row.getString(3)))
)

到

val newTxs = txs.map(row=>
  MsgRow(row.getLong(0), row.getString(1), row.getString(2), (new BigInteger(row.getString(3).substring(2),16)).doubleValue)
)

应该能解决你的问题。

我已经排除了hex2int函数作为它的序列化错误。