4 種類の記号 a、b、c、d が互いに独立に、それぞれ確率 1／2、1／4、1／8、1／8 で発生する情報源がある。この情報源の 1 記号当たりの平均情報量（エントロピー）〔ビット〕は、次のうちどれか。
正解・解説を確認する
解答正解 2
確率 p の記号の情報量は log₂(1／p) ビットで、平均情報量はそれを発生確率で重み付けして足した H＝Σp・log₂(1／p) である。ここでは 0.5×1＋0.25×2＋0.125×3＋0.125×3＝1.75 ビットとなる。ハフマン符号で a、b、c、d に 0、10、110、111 を割り当てると平均符号長もちょうど 1.75 ビットとなり、これ以上は圧縮できない。
選択肢ごとの判定
1確率 1／8 の記号の情報量を 2 ビットとして計算した値（0.5＋0.5＋0.25＋0.25）。log₂8＝3 である。
2正しい。(1／2)×1＋(1／4)×2＋(1／8)×3＋(1／8)×3＝1.75 ビットである。
34 記号が等確率（各 1／4）の場合の値 log₂4＝2。設問の確率は等しくないので平均情報量は小さくなる。
4各記号の情報量（1、2、3、3 ビット）を発生確率で重み付けせず、単純平均した値。
5最も発生確率の低い記号（1／8）の情報量。平均ではなく最大値を答えている。