この項目では、情報量(エントロピー)の概念の情報理論 的側面について説明しています。熱力学 的側面については「エントロピー 」をご覧ください。
情報量 (じょうほうりょう)やエントロピー (英 : entropy )は、情報理論 の概念で、あるできごと(事象 )が起きた際、それがどれほど起こりにくいかを表す尺度である。ありふれたできごと(たとえば「風の音」)が起こったことを知ってもそれはたいした「情報 」にはならないが、逆に珍しいできごと(たとえば「曲の演奏」)が起これば、それはより多くの「情報」を含んでいると考えられる。情報量はそのできごとが本質的にどの程度の情報を持つかの尺度であるとみなすこともできる。
なおここでいう「情報」とは、あくまでそのできごとの起こりにくさ(確率 )だけによって決まる数学的な量でしかなく、個人・社会における有用性とは無関係である。たとえば「自分が宝くじに当たった」と「見知らぬAさんが宝くじに当たった」は、前者の方が有用な情報に見えるが、両者の情報量は全く同じである(宝くじが当たる確率は所与条件一定のもとでは誰でも同じであるため)。
選択情報量(自己エントロピー)と平均情報量(エントロピー) それぞれのできごとの情報量だけでなく、それらのできごとの情報量の平均値も情報量と呼ぶ。両者を区別する場合には、前者を選択情報量 (自己エントロピー とも)、後者を平均情報量 (エントロピー とも)と呼ぶ。
選択情報量 事象 E {\displaystyle E} が起こる確率 を P ( E ) {\displaystyle P(E)} とするとき、事象 E {\displaystyle E} が起こったことを知らされたとき受け取る(選択)情報量 I ( E ) {\displaystyle I(E)} は以下で定義される:
I ( E ) = log 1 P ( E ) = − log P ( E ) {\displaystyle I(E)=\log {\frac {1}{P(E)}}=-\log P(E)} 確率の値域 0 ≦ P ( ⋅ ) ≦ 1 {\displaystyle 0\leqq P(\cdot )\leqq 1} より選択情報量の値域は + ∞ ≧ I ( ⋅ ) ≧ 0 {\displaystyle +\infty \geqq I(\cdot )\geqq 0} を満たす。また対数の単調増加 性により、起こりにくい事象(=生起確率が低い事象)の情報量ほど値が大きい。
対数 の(底 )として何を選んでも情報量の値が定数倍変わるだけなので本質的な差はない。慣習的に底に2を選ぶことが多い。底が2の場合、 1 / 2 n {\displaystyle 1/2^{n}} の確率で起こる事象の情報量は n {\displaystyle n} である。
直観的意味 整数 u {\displaystyle u} に対し、 u {\displaystyle u} の対数 log m u {\displaystyle \log _{m}u} は m {\displaystyle m} 進法での u {\displaystyle u} の桁数にほぼ等しい値を表す。したがって、確率 1 / u {\displaystyle 1/u} で起こる事象の情報量は、ほぼ u {\displaystyle u} の桁数になる。
情報量の加法性 情報量は加法性を持つ。すなわち独立 な事象A/Bに対し、事象「AもBも起こる」の情報量は、Aの情報量とBの情報量の和である。これは以下で証明される。
I ( A , B ) = − log P ( A , B ) = − log ( P ( A ) ∗ P ( B ) ) = − ( log P ( A ) + log P ( B ) ) = I ( A ) + I ( B ) {\displaystyle I(A,B)=-\log P(A,B)=-\log(P(A)*P(B))=-(\log P(A)+\log P(B))=I(A)+I(B)}
例えば、52枚のトランプ から無作為に1枚を取り出すという試行を考える。「取り出したカードはハートの4である」という事象の情報量は、前述の定義からlog52 であると分かる。ここで、「取り出したカードのスート はハートである」という事象と「取り出したカードの数字は4である」という事象の二つを考えると、前者の情報量はlog4、後者はlog13 である。この両者の和はlog4 + log13 = log(4×13) = log52 となり、「取り出したカードはハートの4である」という事象の情報量と等しい。これは「独立した情報の和が、全体の情報量と一致する」という直感的要請に合致する。
導出 情報量に対する直感的要請には「発生確率が低いほど大きく(単調減少性 )」「確率に関して連続的に変化し(連続性 )」「独立同時事象の情報量が周辺事象の情報量和に等しい(加法性 )」の三条件が挙げられる。この3条件を満たす関数はコーシーの函数方程式 を利用することで C log p {\displaystyle C\log p} と一意に求まる。よって情報量の定義は上記の3条件から一意に導出できる。典型的には対数の底を2としてp=1/2で1となるようにCを設定(C=-1)する。
平均情報量(エントロピー) Ω {\displaystyle \Omega } を、台が有限集合 である確率空間とする。 Ω {\displaystyle \Omega } 上の確率分布 P {\displaystyle P} が与えられたとき、各事象 A ∈ Ω {\displaystyle A\in \Omega } の選択情報量 I ( A ) {\displaystyle I(A)} の期待値
H ( P ) = E P ( A ) [ I ( A ) ] = ∑ A ∈ Ω P ( A ) I ( A ) = − ∑ A ∈ Ω P ( A ) log P ( A ) {\displaystyle H(P)=\mathbb {E} _{P(A)}[I(A)]=\sum _{A\in \Omega }P(A)\ I(A)=-\sum _{A\in \Omega }P(A)\log P(A)} を P {\displaystyle P} のエントロピー と呼ぶ(平均情報量 、シャノン情報量 、情報論のエントロピー とも)。
ただし、ここでP (A )=0のときは、 P ( A ) log P ( A ) = 0 {\displaystyle P(A)\log P(A)=0} とみなす。これは lim p → + 0 p log p = 0 {\displaystyle \lim _{p\to +0}p\log p=0} であることによる。
また有限集合U上の値を取る確率変数 X {\displaystyle X} が確率分布 P X {\displaystyle P_{X}} に従う場合には、 X {\displaystyle X} のエントロピー をH (X )=H (P )によって定める。すなわち、
H ( X ) = − ∑ x ∈ U P X ( x ) log P X ( x ) {\displaystyle H(X)=-\sum _{x\in U}P_{X}(x)\log P_{X}(x)} 0 ≦ I ( ⋅ ) {\displaystyle 0\leqq I(\cdot )} よりエントロピーは常に非負の値(または無限大)を取る。
値x 、y がそれぞれ確率変数X 、Y に従う場合には、組 ( x , y ) {\displaystyle (x,y)} も確率変数とみなせる。この確率変数を ( X , Y ) {\displaystyle (X,Y)} 、この組の発生確率すなわち同時確率 を P X Y ( X , Y ) {\displaystyle P_{XY}(X,Y)} とすると、 ( X , Y ) {\displaystyle (X,Y)} のエントロピー H ( X , Y ) {\displaystyle H(X,Y)} は
H ( X , Y ) = E P X Y [ I ( X , Y ) ] = − ∑ x , y P X Y ( x , y ) log P X Y ( x , y ) {\displaystyle H(X,Y)=\mathbb {E} _{P_{XY}}[I(X,Y)]=-\sum _{x,y}P_{XY}(x,y)\log P_{XY}(x,y)} になる。これを結合エントロピー と呼ぶ。
X , Y {\displaystyle X,Y} が互いに独立 な確率変数である場合には、 H ( X , Y ) {\displaystyle H(X,Y)} は H ( X ) + H ( Y ) {\displaystyle H(X)+H(Y)} に一致する。すなわち、全体の情報量 H ( X , Y ) {\displaystyle H(X,Y)} は、それぞれの確率変数の情報量の和である。
しかし、X とY が互いに独立ではない場合は、 H ( X , Y ) {\displaystyle H(X,Y)} と H ( X ) + H ( Y ) {\displaystyle H(X)+H(Y)} は一致せず、前者より後者の方が大きい値になる。両者の情報量の差を相互情報量 と呼び、
I ( X , Y ) = H ( X ) + H ( Y ) − H ( X , Y ) {\displaystyle I(X,Y)=H(X)+H(Y)-H(X,Y)} で表す。相互情報量は常に非負の値になる。
事象B が生じているという条件下における事象Aの条件付き情報量 を − log Pr ( A | B ) {\displaystyle -\log \Pr(A|B)} によって定める。確率変数X が与えられたとき、事象「 X = x {\displaystyle X=x} 」の条件付き情報量 − log Pr ( X = x | B ) {\displaystyle -\log \Pr(X=x|B)} のx に関する平均値を条件付きエントロピー といい、
H ( X | B ) = E P X | B [ I ( X | B ) ] = − ∑ x P X | B ( x | B ) log P X | B ( x | B ) {\displaystyle H(X|B)=\mathbb {E} _{P_{X|B}}[I(X|B)]=-\sum _{x}P_{X|B}(x|B)\log P_{X|B}(x|B)} で表す。
さらに確率変数Y が与えられたとき、事象「 Y = y {\displaystyle Y=y} 」が生じているという条件下における事象「 X = x {\displaystyle X=x} 」の条件付きエントロピー H ( X | Y = y ) {\displaystyle H(X|Y=y)} のy に関する平均値
H ( X | Y ) = ∑ y Pr ( Y = y ) H ( X | Y = y ) {\displaystyle H(X|Y)=\sum _{y}\Pr(Y=y)H(X|Y=y)} もやはり条件付きエントロピー と呼ぶ。
エントロピーの基本的性質 情報量は確率だけによって決まる。 情報量は非負の値または無限大を取る。 nビットのビット列の空間(情報源 )から(一様ランダムとは限らない方法で)ランダムにビット列を選んだときのエントロピーは、n以下になる。エントロピーがnになる必要十分条件は、ビット列が一様ランダムに選ばれることである。 確率変数XとYが独立である必要十分条件は、 H ( X ) + H ( Y ) = H ( X , Y ) {\displaystyle H(X)+H(Y)=H(X,Y)} が成立することである。 コイン投げの例 あるコインを投げたときに表が出る確率を p {\displaystyle p} 、裏が出る確率を 1 − p {\displaystyle 1-p} とする。このコインを投げたときに得られる平均情報量(エントロピー)は、
H ( X ) = − p log p − ( 1 − p ) log ( 1 − p ) {\displaystyle \left.H(X)=-p\log {p}-(1-p)\log {(1-p)}\right.} である。
この関数 f ( p ) = − p log p − ( 1 − p ) log ( 1 − p ) {\displaystyle f(p)=-p\log {p}-(1-p)\log {(1-p)}} をエントロピー関数 と呼ぶ。
図を見ると分かるように、 p = 0 {\displaystyle p=0} と p = 1 {\displaystyle p=1} では H {\displaystyle H} はゼロである。つまり、コインを投げる前から裏または表が出ることが確実に分かっているときに得られる平均情報量は、ゼロである。 H {\displaystyle H} が最大になるのは p = 1 / 2 {\displaystyle p=1/2} のときであり、一般にすべての事象(できごと)が等確率になるときにエントロピーが最大になる。
連続系のエントロピー 実数値を取る確率変数X の確率密度関数をp (x )とするとき、X のエントロピーを
h ( X ) = − ∫ − ∞ ∞ p ( x ) log p ( x ) d x {\displaystyle h(X)=-\int _{-\infty }^{\infty }p(x)\log p(x)dx} によって定義する。
X が有限集合に値を取る確率変数である場合には、X のシャノン情報量 H ( X ) {\displaystyle H(X)} も定義できる。X がn 通りの値を取るとき、 H ( X ) {\displaystyle H(X)} と h ( X ) {\displaystyle h(X)} は、
h ( X ) = H ( U n ) − H ( X ) {\displaystyle h(X)=H(U_{n})-H(X)} を満たす。
ただし、ここで U n {\displaystyle U_{n}} はn 元集合上の一様分布とする(すなわち H ( U n ) = log n {\displaystyle H(U_{n})=\log n} )。
Renyiエントロピー Ω {\displaystyle \Omega } を、台が有限集合である確率空間とする。P を Ω {\displaystyle \Omega } 上の確率分布とし、 α {\displaystyle \alpha } を非負の実数とする。
α ≠ 1 {\displaystyle \alpha \neq 1} のとき、P のdegee α {\displaystyle \alpha } のRenyiエントロピー を
H α ( P ) = log ( ∑ A ∈ Ω P ( A ) α ) 1 − α {\displaystyle H_{\alpha }(P)={\frac {\log(\sum _{A\in \Omega }P(A)^{\alpha })}{1-\alpha }}} によって定義する。 また、 α = 1 , ∞ {\displaystyle \alpha =1,\infty } の場合には、Renyiエントロピーを
{ H 1 ( P ) = lim α → 1 H α ( P ) H ∞ ( P ) = lim α → ∞ H α ( P ) {\displaystyle \left\{{\begin{array}{lll}H_{1}(P)&=\lim _{\alpha \to 1}&H_{\alpha }(P)\\H_{\infty }(P)&=\lim _{\alpha \to \infty }&H_{\alpha }(P)\end{array}}\right.} によって定義する。
単にRenyiエントロピー と言った場合は H 2 ( P ) {\displaystyle H_{2}(P)} を意味することも多い。
さらに、確率変数X が確率分布P に従うとき、 H α ( X ) {\displaystyle H_{\alpha }(X)} を H α ( X ) = H α ( P ) {\displaystyle H_{\alpha }(X)=H_{\alpha }(P)} によって定義する。
Renyiエントロピーは以下の性質を満たす:
H 0 ( P ) = log # Ω {\displaystyle H_{0}(P)=\log \#\Omega } が成立する。 H 1 ( P ) {\displaystyle H_{1}(P)} はシャノン情報量 H ( P ) = − ∑ A ∈ Ω P ( A ) log P ( A ) {\displaystyle H(P)=-\sum _{A\in \Omega }P(A)\log P(A)} と一致する。 α {\displaystyle \alpha } が2以上の整数の場合には、 H α ( P ) = 1 1 − α log Pr ( X 1 = ⋯ = X α ) {\displaystyle H_{\alpha }(P)={\frac {1}{1-\alpha }}\log \Pr(X_{1}=\cdots =X_{\alpha })} が成立する。ここで、 X 1 , … , X α {\displaystyle X_{1},\ldots ,X_{\alpha }} は確率分布 P {\displaystyle P} に従う独立同一分布であって、 Pr ( X 1 = ⋯ = X α ) {\displaystyle \Pr(X_{1}=\cdots =X_{\alpha })} は x 1 , … , x α {\displaystyle x_{1},\ldots ,x_{\alpha }} をそれぞれ X 1 , … , X α {\displaystyle X_{1},\ldots ,X_{\alpha }} に従って選んだときに x 1 = ⋯ = x α {\displaystyle x_{1}=\cdots =x_{\alpha }} が成立する確率とする。 H ∞ ( P ) = min A ∈ Ω { − log P ( A ) } {\displaystyle H_{\infty }(P)=\min _{A\in \Omega }\{-\log P(A)\}} が成立する。この H ∞ ( P ) {\displaystyle H_{\infty }(P)} をminエントロピー ともいう。
歴史 「エントロピー」の概念は1865年 にルドルフ・クラウジウス がギリシャ語の「変換」を意味する言葉を語源 として、熱力学における気体のある状態量として導入した。これは統計力学では微視的な状態数の対数に比例する量として表される。1929年 にはレオ・シラード が、気体についての情報を観測者が獲得することと統計力学におけるエントロピーとの間に直接の関係があることを示し、現在 1 ビット(1 シャノン)と呼ぶ量が統計力学で k ln 2 に対応するという関係を導いていた[1] 。
現在の情報理論におけるエントロピーの直接の導入は1948年 のクロード・シャノン によるもので、その論文『通信の数学的理論 』でエントロピーの概念を情報理論に応用した。シャノン自身は熱統計力学でこの概念と関連する概念がすでに使われていることを知らずにこの定義に到達したが、その名称を考えていたとき同僚フォン・ノイマン が、熱統計力学のエントロピーに似ていることから示唆したもので、フォン・ノイマンは「統計エントロピーが何なのかを理解してる人は少ないから、議論になったら有利であろう」と語ったとされる[3] [4] 。しかしシャノンはフォン・ノイマンとの会話は認めつつその影響を否定している[5] 。
なお、シャノン以前にもラルフ・ハートレー が1928年 に、集合A に対して log # A {\displaystyle \log \#A} という量を考察している(“ # A {\displaystyle \#A} ”はA の(元数 ))。 log # A {\displaystyle \log \#A} はA 上の一様分布のエントロピーに一致する。現在では、 log # A {\displaystyle \log \#A} をA のハートレー・エントロピー と呼ぶ。
単位 情報量は本来無次元 の量である。しかし、対数の底として何を用いたかによって値が異なるので,単位を付けて区別している。前述のように、情報量は確率の逆数の桁数 の期待値なので、単位も桁数のそれを流用する。この為、対数の底として2、e 、10を選んだときの情報量の単位は、それぞれビット (bit)、ナット (nat)、ディット (dit)である。
また、今のところ主流ではないものの、1997年に日本工業規格 JIS X 0016:1997(これは国際規格 ISO /IEC 2382-16:1996と一致している)は、これらの量を表す単位を別に定めている((ノート )も参照)。
対数の底と単位 底 通常の単位 JISおよびISOが定めた単位 備考 2 ビット (bit) シャノン (shannon) lb, 二進対数 e =2.718… ナット (nat) ナット (nat) ln, 自然対数 10 ディット (dit) ハートレー (hartley) lg, 常用対数
単位「シャノン」、「ハートレー」の名称は、それぞれ情報量の概念を提案したクロード・シャノン 、ラルフ・ハートレー にちなむ。
脚注 [脚注の使い方 ]
^ Szilard, L. (1929) "Über die Entropieverminderung in einem Thermodynamischen System bei Eingriffen Intelligenter Wesen", Zeitschrift für Physik 53 :840–856 ^ 『ファインマン計算機科学』 p. 96 ファインマンによる脚注*8で、「言い伝えによれば」と断りのうえでこの説を紹介している。 ^ 韓太舜、小林欣吾『情報と符号の数理』 ^ CLAUDE E. SHANNON: An Interview Conducted by Robert Price, 28 July 1982
参考文献 Shannon entropy calculator (English) A Mathematical Theory of Communication Shannon 1948 (English) Cover, Thomas M.; Thomas, Joy A. (2006). Elements of information theory (Second ed.). John Wiley & Sons. ISBN (978-0-471-24195-9 ). MR 2239987. https://books.google.com/books?id=VWq5GG6ycxMC
関連項目
外部リンク