2. 確率分布と期待値
推測統計学の目的は「観測されたデータからその背後にある確率や確率モデルを推測すること」です．このとき，確率とデータとを結びつけるものが確率変数という概念であり，確率変数の従う分布が確率分布である.
2.1 確率変数
確率は「事象\(A\)に対して定義される関数」だが，事象を直接扱うよりもそれを要約したものを扱った方が便利な場合がある．
たとえば，「2つのサイコロを振る」という試行に対して定義される全事象\(\Omega\) は，出目の結果\(\Omega := \{\{1,1\},\{1,2\}, \dots, \{6,6\}\}\)となり，事象\(A \in \Omega\) は\(\{1,4\}\)や\(\{2,5\}\)となる．しかし，興味があるのは「出目の合計が奇数である確率」や「出目の積が3の倍数となる確率」である．このとき，「出目の合計」や「出目の積」を\(X\)とおくと扱いやすい．これを確率変数(Random variable)という．
確率変数\(X\)は，全事象\(\Omega\)から実数\([0,1] \in \mathbb{R}\)への関数と見ることができる．
確率関数，確率密度関数
確率変数\(X\)に対する関数\(F_X(\cdot), f_X(\cdot)\)を以下のように定義する．
ここで\(F_X(\cdot)\)を確率(質量)関数(probability mass function)，\(f_X(\cdot)\)を確率密度関数(Probability density function)という．
\[F_X(x) = P(X < x) \\ f_X(x) = P(X = x)\]関数\(F_X(\cdot), f_X(\cdot)\)は，互いに確率変数\(X\)に対する微積分で表せる．
\[F_X(x) = \int_{-\infty}^{x} f_X(t) dt \\ f_X(x) = = \frac{d}{dx} F_X(x)\]2.2 期待値
確率変数\(X\)の確率分布\(F_X(\cdot), f_X(\cdot)\)の特性として平均・分散がある．これは，「{確率変数\(X\)の関数}の期待値」である．
期待値の定義
確率変数\(X\)の関数\(g(x)\)の期待値(expected value)を\(E[g(X)]\)で表し，以下のように定義する．
\[E[g(X)] = \int g(x)f_X(x)dx ~~~ (X\text{が連続変数}) \\ E[g(X)] = \sum g(x)f_X(x) ~~~ (X\text{が離散変数})\]確率変数の特性値
確率変数\(X\)と期待値演算\(E[\cdot]\)を用いて，以下の特性値を定義できる．
- \(X\)の平均(average) ：
- \(X\)の分散(variance) ：
- \(X\)の標準偏差(standard deviation)：
- \(X\)と\(Y\)の共分散(Covariance) ：
- \(X\)と\(Y\)の相関係数(Correlation) ：
[演習問題]
確率変数\(X\)の確率密度関数が\(p(x)=e^{-x} ~~ (x \gt 0)\) で与えられるとする．
(a) 正の整数\(k\)に対して，\(E[X^k]\)を求めよ．
(b) \(\sigma \gt 0\)に対して，\(Y = \sigma X + \mu\) と変数変換するとき，\(Y\)の確率密度関数を求めよ．