σ-加法族が情報を表すとはどういうことか（シャノン理論にも触れながら）

確率変数が持つ「情報」とは何でしょうか。

確率論のテキストを開いてみると、次のような説明を目にします。

確率変数の生成するσ-加法族は、その確率変数がもたらす「情報」を表す。

本記事では、この主張を理解するための参考文献を挙げ、直感的な説明を行います。

σ-加法族(sigma-field, sigma-algebra)と情報に関する参考文献

σ-加法族がどういう意味で「情報」と解釈できるのかについて、踏み込んだ説明を与えている本は少ないです。そんななか、兼清『確率微分方程式とその応用』はこの主張を丁寧に解説しています。

こちらのテキストの第2章「確率論の概要」2.3節で、σ-加法族がどういう意味で情報と呼べるのかについて述べています。

兼清『確率微分方程式とその応用』p.41の脚注では、σ加法族がしばしば「情報」と呼ばれていることに関連して、その意味するところをきちんと説明しているのは伊藤『確率論 (岩波基礎数学選書)』以外にないと述べています。

伊藤『確率論 (岩波基礎数学選書)』第5章「確率過程」5.3節「情報と増大情報系」では、確率変数$X,Y$の間に「情報の多少」と解釈できる順序関係$\prec_i$を定義したとき、

であることが証明されています。

兼清『確率微分方程式とその応用』の第2章2.3節の証明も、伊藤 『確率論 (岩波基礎数学選書)』の上記証明と同様の内容になっています。テキストとしての新しさや他のトピックのカバー範囲などの観点から、個人的には兼清のテキストを推します。

主張の意味と証明の概要

確率変数の生成するσ-加法族が「情報」を表すという主張は、以下のように定式化されます。

確率変数$X,Y$の間に「情報の多少」を意味する順序$\prec_i$を次のように定義します：ある関数$\phi:X(\Omega)\to Y(\Omega)$が存在して

確率変数$X,Y$の生成するσ-加法族をそれぞれ$\sigma(X),\sigma(Y)$と表すとき、

つまり、「情報の多少」を表す確率変数の順序関係と、確率変数の生成するσ-加法族の包含関係とが整合的である、という主張をもって、σ-加法族は情報であるといっているわけです。

$Y(\omega)=\phi(X(\omega))~a.s.$となる関数$\phi:X(\Omega)\to Y(\Omega)$が存在するということは、直感的に言えば「$X$の値がわかれば$Y$がわかる」ということです。したがって、このような$\phi$が存在するということは、$Y$の情報が$X$より少ない（より正確には、多くない）と解釈できます。

この証明の概略は次のとおりです：$Y$の値域空間から適当な$B$をとって$Y^{-1}(B)=X^{-1}(\phi^{-1}(B))\in \sigma(X)$を示すことで、$\sigma(Y)\subset\sigma(X)$をいう。この逆は、$Y$の値域空間から一点$a$を任意にとり、$X(Y^{-1}(\left\{ a\right\})$が$X$の値域に含まれることから$\phi$を構成する。

証明の詳細は兼清『確率微分方程式とその応用』の第2章2.3節をご覧ください。

フィルトレーション、増大情報系

確率空間$\left( \Omega,\mathscr{F},P\right)$を考えたとき、時間パラメタ$t$を伴う$\mathscr{F}$の部分σ-加法族の列$\left\{ \mathscr{F}_t\right\}$が

フィルトレーションは増大情報系ともいいます。

集合として大きなσ-加法族を考えるということは、情報が多い状況を考えるということです。フィルトレーションは時間の経過に伴いσ-加法族が大きくなっていくことを意味していますから、これを時間の経過に伴い情報が大きくなっていく状況を表したものと考えることができるのです。

フィルトレーションを増大情報系と呼ぶのは、こうした理由によると考えられます。

シャノンの情報理論との関係

情報を数学的に表現することに成功した分野として、シャノンの情報理論があります。

『確率微分方程式とその応用』にはシャノンの情報理論にも言及があり、以下のように述べられています。

情報という言葉を用いてはいるが，いわゆるShannonの情報理論とはまったく異なり，観測の細かさ・正確さを記述する概念である．

シャノンの情報理論では、確率分布が与えられたときに確率変数の不確かさを図る概念としてエントロピーを定義し、情報量を定量化しています。

シャノンの情報理論ではσ-加法族とは異なる情報の尺度に基づく理論であり、直接の関係はありません。

もちろん、シャノンの情報理論でもσ-加法族でも、確率変数から派生して情報を定義しているという意味では、何らかの関係がありそうですが、今の所両者の明確な関係を私は理解していません。

もしそういった観点で論じた文献があれば、ぜひ教えていただけますと幸いです。

参考文献