scala – Spark十进制类型精度损失

2024年1月2日 270次阅读

我正在对货币计量进行一些火花十进制类型的测试,当我设置如下所示的比例和精度时,我看到一些奇怪的精确结果.我想确保在计算过程中不会有任何数据丢失,但下面的示例并不能让人放心.任何人都可以告诉我为什么这与spark sql一起发生？目前在2.3.0版本上

val sql = """select cast(cast(3 as decimal(38,14)) / cast(9 as decimal(38,14)) as decimal(38,14)) val"""
spark.sql(sql).show

这回来了

+----------------+
|             val|
+----------------+
|0.33333300000000|
+----------------+

最佳答案 这是一个当前未解决的问题,请参阅
SPARK-27089.建议的解决方法是调整下面的设置.我验证了SQL语句按预期工作,此设置设置为false.

spark.sql.decimalOperations.allowPrecisionLoss=false
点赞