如何将列值从字符串转换为十进制？

Question

我有一个数据帧，其中包含一个非常大的整数值，例如：

42306810747081022358

当我试图将其转换为长时，它在Java工作，但不是在火花环境下，我得到了

   NumberFormatException: For input string("42306810747081022358")

然后我尝试将其转换为十进制（BigDecimal）值。同样，可以很容易地在Java中完成，但在Spark:dframe中。带列（“c\U编号”，列（“c\U a”）。cast（新的DecimalType（））；

这样我就不会得到任何异常，但是我可以看到所有结果值都为null。

我也尝试为此目的使用UDF，但得到相同的结果：

UDF1 cTransformer = new UDF1<String, BigDecimal>() {
        @Override
        public BigDecimal call(String aString) throws Exception {
            return new BigDecimal(aString);
        }
    };
sqlContext.udf().register("cTransformer", cTransformer, new DecimalType());
dframe = dframe.withColumn("c_number", callUDF("cTransformer", dframe.col("c_a"))); 

这里我得到的是一个全为零的列。

我应该如何继续？

Answer 1

在scala spark中，您可以使用DecimalType进行转换：

import org.apache.spark.sql.types.DecimalType
val convertedDf = dframe.withColumn("c_number",trim(col("c_a")).cast(DecimalType(20,0)))

Answer 2

十进制具有精度和小数位数值，默认情况下，精度为10，小数位数为0
精度是数字中的最大位数。在您的情况下，您有10个以上的数字，因此数字不能转换为10位小数，并且您有空值。

为避免需要指定足够大的精度来表示数字，请执行以下操作：

dframe.withColumn("c_number", dframe.col("c_a").cast(new DecimalType(38,0)))

注意精度可达38

Answer 3

尝试：

dframe.withColumn("c_number", dframe.col("c_a").cast("decimal(38,0)"))