Excel VBA質問箱 IV

当質問箱は、有志のボランティア精神のおかげで成り立っています。
問題が解決したら、必ずお礼をしましょうね。
本サイトの基本方針をまとめました。こちら をご一読ください。

投稿種別の選択が必要です。ご注意ください。
迷惑投稿防止のため、URLの入力を制限しています。ご了承ください。

  新規投稿 ┃ツリー表示 ┃一覧表示 ┃トピック表示 ┃検索 ┃設定 ┃過去ログ ┃ホーム  
205 / 13645 ﾂﾘｰ ←次へ　｜　前へ→
▼ 【81546】計算の誤差 大福 20/11/24(火) 12:26 質問[未読]
【81553】Re:計算の誤差 OK 20/11/30(月) 17:36 発言[未読]
【81554】Re:計算の誤差 OK 20/11/30(月) 17:42 発言[未読]
【81555】Re:計算の誤差 OK 20/11/30(月) 17:46 発言[未読]
【81556】Re:計算の誤差 OK 20/11/30(月) 18:07 発言[未読]
【81546】計算の誤差
質問  大福  - 20/11/24(火) 12:26 -
引用なし
パスワード
   excelで6/9＊33＝22.000になります。電卓計算は21.9999です。
どうして誤差が出るのでしょうか？教えてください。
【81553】Re:計算の誤差
発言  OK  - 20/11/30(月) 17:36 -
引用なし
パスワード
   四則演算の順序を少し無視して計算を分解、通分
したら↓のようになります。

6/9*33
↓
(2×3)÷(3×3)×(3×11)
2÷3×(3×11)
↓
2×11×3(分子)
-----
3(分母)
↓
2×11
↓
22

エクセル内部の計算は詳しいサイトを見てください。※私は分かりません。

エクセルの浮動小数点数演算誤差と四則計算の順番によるのかな？
詳しくないので説明できません＆自信ありません。
【81554】Re:計算の誤差
発言  OK  - 20/11/30(月) 17:42 -
引用なし
パスワード
   >電卓計算は21.9999です。

電卓のラウンドセレクター等の設定、表示桁数、メーカーにもよると思います。
私の電卓で計算したら22になりました。
【81555】Re:計算の誤差
発言  OK  - 20/11/30(月) 17:46 -
引用なし
パスワード
   デフォルト状態のウィンドウズ10添付の電卓(calc.exe)
で6/9*33を計算したら22になりました。
【81556】Re:計算の誤差
発言  OK  - 20/11/30(月) 18:07 -
引用なし
パスワード
   電卓で21.9999となった、ということは、
小数部分のスイッチが「F」になっていると思います。

私が電卓計算の結果が22になったのは、
小数部分のスイッチが「F」以外になっていたからでした。

ht　tps://dokugaku.info/kotu/den-6.htm
  新規投稿 ┃ツリー表示 ┃一覧表示 ┃トピック表示 ┃検索 ┃設定 ┃過去ログ ┃ホーム  
205 / 13645 ﾂﾘｰ ←次へ　｜　前へ→
ページ：  ┃  記事番号：
2610219
(SS)C-BOARD v3.8 is Free