中心極限定理

中心極限定理（ちゅうしんきょくげんていり、英: central limit theorem, CLT）は、確率論・統計学における極限定理の一つ。

サイコロを

n

回振ったときの出た目の和

S n = X 1 + \dots + X n

の分布が

n

を大きくするに従って正規分布による近似に近づく様子

大数の法則によると、ある母集団から無作為抽出した標本の(平均)は標本の大きさを大きくすると(母平均)に近づく。これに対し中心極限定理は標本平均と母平均との誤差を論ずるものである。多くの場合、母集団の分布がどんな分布であっても、その誤差は標本の大きさを大きくしたとき近似的に正規分布に従う。

なお、標本の分布に分散が存在しないときには、極限が正規分布と異なる場合もある。

統計学における基本定理であり、例えば世論調査における必要サンプルのサイズの算出等に用いられる。

定理

以下の定理はLindeberg (1922) による^[1]。

期待値 $μ$ と分散 $σ 2$ を持つ独立同分布 ("i.i.d.") に従う確率変数列 $X 1, X 2, \dots$ に対し $\textstyle S_{n}:=\sum _{k=1}^{n}X_{k}$ とおくと、

P\left({\frac {S_{n}-n\mu }{{\sqrt {n}}\sigma }}\leq \alpha \right)\to {\frac {1}{\sqrt {2\pi }}}\int _{-\infty }^{\alpha }e^{-x^{2}/2}dx\qquad (n\to \infty ).

つまり、独立同分布に従う確率変数列の部分和を標準化すると、期待値 $0$ , 分散 $1$ の正規分布 $N(0, 1)$ に(分布収束)する。

従って、 $n$ が十分大きいとき近似的に、部分和 $S n = X 1 + \dots + X n$ は平均 $nμ$ , 分散 $nσ 2$ の正規分布 $N(nµ, nσ 2)$ に収束し、標本平均 ${\bar {X}}_{n}=(X_{1}+\dotsb +X_{n})/n$ は平均 $μ$ , 分散 $σ 2 / n$ の正規分布 $N(μ, σ 2 / n)$ に従う。

証明

中心極限定理は特性関数（とレヴィの連続性定理）を用いることにより証明できる。

${X 1, \dots, X n}$ を独立同分布に従う確率変数とする。分布の平均を $µ$ 、分散を $σ 2$ とする。ここで部分和 $S n = X 1 + \dots + X n$ を考えると、平均と分散はそれぞれ $nµ$ , $nσ 2$ となる。ここで確率変数

Z_{n}={\frac {S_{n}-n\mu }{\sqrt {n\sigma ^{2}}}}=\sum _{j=1}^{n}{\frac {X_{j}-\mu }{\sqrt {n\sigma ^{2}}}}={\frac {1}{\sqrt {n}}}\sum _{j=1}^{n}Y_{j}

を考える。最後の式では、平均 $0$ 、分散 $1$ の新しい確率変数 $Y j = (X j - μ)/ σ$ を定義した。ここで、 $Z n$ の特性関数は、独立性より積の期待値は期待値の積になるため、

\varphi _{Z_{n}}(t)\equiv \operatorname {E} [\exp(itZ_{n})]=\operatorname {E} \left[\prod _{j=1}^{n}\exp \left({\frac {itY_{j}}{\sqrt {n}}}\right)\right]=\prod _{j=1}^{n}\operatorname {E} \left[\exp \left({\frac {itY_{j}}{\sqrt {n}}}\right)\right]=\left(\varphi _{Y_{1}}\left({\frac {t}{\sqrt {n}}}\right)\right)^{n}

最後の等式は全ての $Y j$ は同一分布に従うため同じ特性関数を持つことから導いた。ここで、 $\varphi _{Y_{1}}(t)$ をマクローリン展開する。

{\begin{aligned}\varphi _{Y_{1}}(0)&=\left.\operatorname {E} \left[e^{itY_{1}}\right]\right|_{t=0}=1\\\varphi _{Y_{1}}'(0)&=\left.\operatorname {E} \left[iY_{1}e^{itY_{1}}\right]\right|_{t=0}=\operatorname {E} \left[iY_{1}\right]=i\operatorname {E} \left[Y_{1}\right]=0\\\varphi _{Y_{1}}''(0)&=\left.\operatorname {E} \left[-Y_{1}^{2}e^{itY_{1}}\right]\right|_{t=0}=\operatorname {E} \left[-Y_{1}^{2}\right]=-\operatorname {V} \left[Y_{1}\right]=-1\end{aligned}}

より

\varphi _{Y_{1}}\left({\frac {t}{\sqrt {n}}}\right)=1-{\frac {t^{2}}{2n}}+O(n^{-{\frac {3}{2}}}),\quad n\rightarrow \infty

となる。ここで、 $O$ はランダウの記号である。この式と指数関数の定義

e^{x}=\lim _{n\to \infty }\left(1+{\frac {x}{n}}\right)^{n}

を用いると、 $\varphi _{Z_{n}}\left(t\right)$ の $n\to \infty$ における極限が以下のように求められる。

\varphi _{Z_{n}}\left(t\right)=\left(\varphi _{Y_{1}}\left({\frac {t}{\sqrt {n}}}\right)\right)^{n}=\left(1-{\frac {t^{2}}{2n}}+O(n^{-{\frac {3}{2}}})\right)^{n}=\left(1+{\frac {-{\frac {t^{2}}{2}}+O(n^{-{\frac {1}{2}}})}{n}}\right)^{n}\to e^{-t^{2}/2},\quad n\to \infty

最後の関数は標準正規分布 $N(0, 1)$ の特性関数である。特性関数と確率分布の対応は一対一なので、この結果は $n\to \infty$ の極限で $Z n$ が $N(0, 1)$ に収束することを意味する。なお、厳密に特性関数の収束と確率分布関数の収束の対応関係が成り立つことはレヴィの連続性定理により保証される。

以上により、部分和 $S n = X 1 + \dots + X n$ は正規分布 $N(nµ, nσ 2)$ に収束し、標本平均 ${\bar {X}}_{n}=(X_{1}+\cdots +X_{n})/n$ は正規分布 $N(µ, σ 2 / n)$ に収束することが証明された。

正規分布に収束しない場合

より一般化された確率理論（コルモゴロフの公理）では、中心極限定理は弱収束理論 (weak-convergence theories) の一部となる。それによると、独立同分布 (i.i.d.) に従う確率変数の分散（2次の中心モーメント）が有限な場合は「確率変数の和の確率分布」は変数の数が多くなるに従い正規分布に収束する^{[注釈 1]}が、確率変数が従う分布の裾が $| x | - α -1$ （ただし $0 < α < 2$ ）のべき乗で減衰する場合（分布の裾が厚くなり分散は無限大に発散して）（正規分布には収束せず）特性指数 $α$ の安定分布に収束する^[2]。

※なお安定分布は特性指数が $0 < α < 2$ のとき分散は無限大となり、分布の裾が冪乗則に従う(ファットテール)を有する。

脚注

[脚注の使い方]

注釈

^ 古典的な中心極限定理が成り立つ。

出典

^ Feller 1968, p. 244.
^ Voit, Johannes (2003). The Statistical Mechanics of Financial Markets. Springer-Verlag. p. 124. ISBN (3-540-00978-7)

参考文献

Feller, William (1968). An introduction to probability theory and its applications. I (Third ed.). John Wiley & Sons, Inc.. ISBN (0-471-25711-7)

ウィキペディア	ランダム
毎日	カテゴリ