情報量とは？
じょうほうりょう
情報量とは、ある事象の起こりにくさを対数で表した数値で、珍しい出来事ほど多くの情報を持つとみなす概念です。
情報量（information content / self-information）は、情報理論においてシャノンが定式化した概念で、ある事象 x が発生したことを知ったときに得られる情報の「量」を定量的に表します。確率 P(x) の事象に対して、情報量は I(x) = −log₂ P(x)（ビット単位）として定義されます。
基本的な直観：確率が低い（珍しい）事象ほど情報量が大きくなります。例えば、表が出る確率が 1/2 のコイン投げでは 1 ビット、1/4 の確率なら 2 ビット、1/8 の確率なら 3 ビットの情報量になります。必ず起きる事象（確率1）の情報量はゼロです。
エントロピーとの関係：確率分布全体の「平均情報量」がシャノンエントロピーです。エントロピー H = −Σ P(x) log₂ P(x) は、分布の不確実性や情報の複雑さを表し、情報圧縮の理論的下限を与えます。
応用分野は非常に広く、次のようなものがあります。
- データ圧縮（ZIPなど）：エントロピーに基づいて最適な符号化を設計
- 機械学習：決定木の分岐基準（情報利得）
- 暗号理論：乱数の品質評価
- 通信理論：チャネル容量の計算
使い方・例文
天気予報で「明日晴れる確率99%」と言われても情報量はほぼゼロですが、「明日雪が降る確率1%」という予報が的中したときは情報量が非常に大きくなる、というのが情報量の直観的な意味です。
この用語をシェア
最終更新: