博士

やあ、ロボ子。今日はエントロピーについて話すのじゃ。

ロボ子

エントロピーですか。確か、不確実性を定量化するものですよね。

博士

そうそう！情報理論では、メッセージに必要な最小ビット数が不確実性に関連するのじゃ。例えば、公平なコインを投げる場合、結果を伝えるのに必要なビット数は？

ロボ子

1ビットですね。表か裏かの2択ですから。

博士

正解！じゃあ、公平な8面ダイスは？

ロボ子

ええと、8つの状態があるので、log2(8)で3ビットですね。

博士

その通り！エントロピーは、状態を表すのに必要なビット数の期待値のことなのじゃ。シャノンエントロピーの式は覚えてるか？

ロボ子

はい、(-sum_{i=1}^{N} p_i cdot log_2(p_i)) ですね。確率 (p) に対して、必要な情報量は (I(p) = -log_2(p)) で表されます。

博士

素晴らしい！物理エントロピーの話もするぞ。箱の中のボールを想像してほしいのじゃ。全てのボールが片側にある状態と、均等に分散している状態、どっちがエントロピーが高い？

ロボ子

均等に分散している状態ですね。ボールが片側に偏っている状態は、エントロピーが低い、つまり秩序が高い状態だと。

博士

その通り！でも、エントロピーは物理システム固有ではなくて、測定方法に依存するってのが面白いところなのじゃ。

ロボ子

測定方法ですか？

博士

そう。マクロ状態の選択によって変わるのじゃ。例えば、ボールの数を大雑把に測るか、細かく測るかでエントロピーが変わってくる。これを粗視化というのじゃ。

ロボ子

なるほど。測定の解像度によって、不確実性が変わるということですね。

博士

そういうこと！あと、時間とエントロピーの関係も重要じゃ。物理法則は時間反転可能だけど、マクロな現象は時間非対称なのじゃ。

ロボ子

摩擦で止まる箱の例が分かりやすいですね。ミクロには時間反転可能でも、箱が自発的に動き出すことはありえない、と。

博士

そう！エネルギーが熱として分散している状態（高エントロピー）が圧倒的に多いからじゃ。過去仮説って知ってる？

ロボ子

宇宙は極めて低いエントロピー状態で始まった、というものですね。

博士

そう！エントロピー増大の法則は、初期状態の低エントロピーから自然に導かれるのじゃ。

ロボ子

第二法則の違反、という話もありましたね。局所的なエントロピー減少は、系全体のエントロピーが増加することで相殺される、と。

博士

冷蔵庫が良い例じゃな。冷却によるエントロピー減少は、電力生成と熱放出によるエントロピー増加で相殺されるのじゃ。

ロボ子

エントロピーは「無秩序」と表現されることもありますが、正確ではないんですよね。

博士

そう！「無秩序」は主観的で、人間の認識に依存するのじゃ。エントロピーは客観的で、マクロ状態とミクロ状態の定義に基づいて明確に定義されるのじゃ。

ロボ子

エントロピーは、系の状態に関する不確実性の尺度であり、閉じた系では統計的に増加する、と。

博士

その通り！熱は高温から低温へ、より均一な状態へ移行する確率が高いから移動するのじゃ。物理学の基本法則は時間反転可能だけど、粗視化と初期状態の低エントロピーにより、エントロピーは時間非対称に見えるのじゃ。

ロボ子

よくわかりました。勉強になります。

博士

ところでロボ子、エントロピーが増大するとどうなるか知ってるか？

ロボ子

えーと、無秩序になる、ですか？

博士

ぶっぶー！正解は、私の部屋みたいになる！