回复:计算结果为何不准确?

已锁定

yanxiao

版主

  • 帖子

    12173
  • 精华

    47
  • 被关注

    188

论坛等级:至圣

注册时间:2003-06-06

钻石 钻石 如何晋级?

发布于 2024-01-03 13:01:14

3楼

这是位数有限带来的问题。

用一个整数的例子:

16位整数计算:

(1000*1000)/500

(1000/500)*1000

这两个式子,计算结果是不一样的。

如果改为32位计算,两个计算结果就一样。

浮点数也一样。

32位的浮点数产生0.0001的计算误差,使用64位浮点数,至少误差可以小到你看不到。

评论
编辑推荐: 关闭

请填写推广理由:

本版热门话题

SIMATIC S7-200 SMART

共有9030条技术帖

相关推荐

热门标签

相关帖子推荐

guzhang

恭喜,你发布的帖子

评为精华帖!

快扫描右侧二维码晒一晒吧!

再发帖或跟帖交流2条,就能晋升VIP啦!开启更多专属权限!

  • 分享

  • 只看
    楼主

top
X 图片
您收到0封站内信:
×
×
信息提示
很抱歉!您所访问的页面不存在,或网址发生了变化,请稍后再试。