クロスエントロピーとは？

クロスエントロピー（cross entropy）は、情報理論に由来する概念で、「真の分布 P に従ってデータが生成されるとき、別の分布 Q を使って符号化した場合に必要な平均ビット数」を意味します。数式では H(P, Q) = −Σ P(x) log Q(x) と表されます。

直観的な意味：真の分布 P と予測分布 Q が完全に一致するとき、クロスエントロピーはシャノンエントロピー H(P) に等しくなります。P と Q のずれが大きくなるほどクロスエントロピーは増加します。このずれの部分はKL情報量（KLダイバージェンス）と呼ばれ、H(P, Q) = H(P) + D_KL(P‖Q) の関係があります。

機械学習での活用：クロスエントロピーは分類問題の損失関数（コスト関数）として非常に広く使われています。

• 二値分類：バイナリクロスエントロピー（Binary Cross-Entropy）として正解ラベルとモデルの出力確率の差を評価
• 多クラス分類：カテゴリカルクロスエントロピーとして、ソフトマックス出力と正解ラベルのずれを最小化

なぜ損失関数に使うのか：クロスエントロピーは微分が簡単で勾配計算に適しており、確率的な出力を持つモデルに対して理論的に自然な目標関数です。また、平均二乗誤差と比べて「確信度の高い誤分類」に対してより大きなペナルティを与えるため、深層学習の学習が速く安定する傾向があります。