Spark：在不更改列的nullable属性的情况下强制转换十进制

Answer 1

谢谢你的一个有趣的观点。为了理解这种行为，我对源代码进行了一点研究，答案是在表示强制转换表达式的cast.scala中。公开无效性的属性是这样计算的：

override def nullable: Boolean = Cast.forceNullable(child.dataType, dataType) || child.nullable

  def forceNullable(from: DataType, to: DataType): Boolean = (from, to) match {
  case (NullType, _) => true
  case (_, _) if from == to => false

  case (StringType, BinaryType) => false
  case (StringType, _) => true
  case (_, StringType) => false

  case (FloatType | DoubleType, TimestampType) => true
  case (TimestampType, DateType) => false
  case (_, DateType) => true
  case (DateType, TimestampType) => false
  case (DateType, _) => true
  case (_, CalendarIntervalType) => true

  case (_, _: DecimalType) => true  // overflow
  case (_: FractionalType, _: IntegralType) => true  // NaN, infinity
  case _ => false
}

如您所见，从任何类型到DecimalType的转换总是返回一个可空类型。我想知道为什么，可能是因为这里表达的溢出风险：

/**
 * Change the precision / scale in a given decimal to those set in `decimalType` (i  f any),
 * returning null if it overflows or modifying `value` in-place and returning it if successful.
 *
 * NOTE: this modifies `value` in-place, so don't call it on external data.
 */
private[this] def changePrecision(value: Decimal, decimalType: DecimalType): Decimal = {
  if (value.changePrecision(decimalType.precision,   decimalType.scale)) value else null
}

ChangePrecision方法检查是否可以修改精度，如果是，返回true，否则返回false。它解释了为什么上述方法可以返回null，以及为什么DecimalType在独立地对源类型进行浇注时默认设置为nullable。