奇狐社區論壇 - 簡單 A + B/1000 運算值的疑惑

奇狐社區論壇 (http://www.chiefox.com.tw/bbs/index.php)
- 問題交流 (http://www.chiefox.com.tw/bbs/forumdisplay.php?forumid=28)
-- 簡單 A + B/1000 運算值的疑惑 (http://www.chiefox.com.tw/bbs/showthread.php?threadid=22886)

由 fox1688 在 2021-03-23 00:00 發表:

簡單 A + B/1000 運算值的疑惑

測試
A : 994959;
B : 123;
T : A + B/1000,PRECISION3;

結果
T 顯示 994959.125 , 而非 994959.123 ??
是否我有系統的運算設定跑掉 ?

由 cgjj 在 2021-03-23 08:44 發表:

回覆: 簡單 A + B/1000 運算值的疑惑

引用:
最初由 fox1688 發表
測試
A : 994959;
B : 123;
T : A + B/1000,PRECISION3;

結果
T 顯示 994959.125 , 而非 994959.123 ??
是否我有系統的運算設定跑掉 ?

跟設定無關，會有這狀況是正常的!
因為公式計算儲存的數值精度是採用單精度
單精度僅有數值的前7位數為有效數字

詳細說明可見這邊的討論
http://www.chiefox.com.tw/bbs/showt...=&threadid=7391

全部時間均為台灣時間, 現在時間為16:21