当前位置: 首页 > 知识库问答 >
问题:

通用浮点数学查询

殷耀
2023-03-14

为什么当输出0.3时,它能解释错误(如果是的话),而当相加发生时,它却不能解释错误呢?

共有1个答案

巫马修为
2023-03-14

假设我们在十进制中近似1/3和2/3。

1/3 = 0.333
2/3 = 0.667

加上1/3+1/3:

1/3+1/3 = 0.333 + 0.333 = 0.666

我们没有得到2/3的近似值。将1/3四舍五入到十进制中,并不能得到等于2/3四舍五入时所得值的一半的数字。

 类似资料:
  • 几年前,在20世纪90年代初,我创建了图形包,用于优化基于定点算术的计算,并预先计算出了cos、sin和sqrt和log近似的缩放方程的表格,这些表格使用牛顿近似法。这些先进的技术似乎已经成为图形和内置数学处理器的一部分。大约5年前,我上了一堂数值分析课,涉及到一些古老的技术。我已经编码了近30年,很少看到那些老的定点优化在使用,即使在为世界级粒子加速器实验的GPGPU应用工作之后。固定点方法是否

  • 问题内容: 我有一个以指数形式输出的数字: 如何使它以普通格式打印? 问题答案: 您可以将其格式化为定点数字。

  • 问题内容: 我认为是非常基本的问题-我正在执行此功能: 问题是输出;例如,我从101的输入中获得337.36080000000004。截断浮点数的适当做法是什么? 正如下面假设的那样,我希望4个有效数字与我的转化率保持一致。 问题答案: 您可以使用NumberFormat实例。 或者,您可以使用DecimalFormat。 后者(DecimalFormat)用于显式地声明格式,而前者(Number

  • 我有Java应用程序,它集中处理2D浮动数组(float[][]数组),实际上在黑色背景上保存图像。两个维度是相等的(平方)并且是2的幂(通常是256、512、1024),所以靠近边界的区域在大多数情况下都是零。 为了提高性能(有一些FFT)和降低在这些阵列上操作的复杂性(如旋转等),大小等于2的幂。根据我的计算,这个应用程序的内存消耗应该达到2-3Gb,而达到4-5Gb(查看Windows任务管

  • 3.2. 浮点数 Go语言提供了两种精度的浮点数,float32和float64。它们的算术规范由IEEE754浮点数国际标准定义,该浮点数规范被所有现代的CPU支持。 这些浮点数类型的取值范围可以从很微小到很巨大。浮点数的范围极限值可以在math包找到。常量math.MaxFloat32表示float32能表示的最大数值,大约是 3.4e38;对应的math.MaxFloat64常量大约是1.8

  • 问题内容: 遇到一个问题,我的JSON数据以科学计数法而不是浮点数打印。 打印以下值;。我需要它是一个浮点数,小数点后有8个字符(0.00001370) 如您在此处看到的-> http://i.imgur.com/FCVM1UN.jpg,我的GUI显示正确的第一行(使用完全相同的代码)。 问题答案: 您正在查看浮点数的 默认格式,其中科学计数法用于足够小的数字或大的数字。 您无需进行转换,该 值本