はじめに

去年ふと指数分布に再生性があるかと思ったものの式を追わずに放置していました．久しぶりに確率に触れるのでリハビリもかねて再生性について確認してみます．

再生性

再生性とは

分布の再生性とは，同一分布に従う複数の独立な確率変数の和が元の分布に従うことです．例えば，ある別々の正規分布に従う2つの独立な確率変数X, Yに対して，その和X+Yもまた正規分布に従うといったことです．

手順

分布からモーメント母関数を求めて，特性関数を得て，2つの確率変数の和の特性関数と比較することで再生性の判断をします．これは特性関数と確率分布が一対一に対応することに基づいています．

特性関数

モーメント母関数$M(t)$と特性関数$\phi(t)$は$X$を対象の確率分布に従う変数として次のようになります．

$$\begin{aligned} M(t) &= E[e^{tX}] \\ \phi(t) &= E[e^{itX}] \end{aligned}$$

これらより，モーメント母関数が存在するなら(発散しなければ)，特性関数は以下のようにかけます．

$$\begin{aligned} \phi(t) &= M(it) \end{aligned}$$

今回扱う分布は全てモーメント母関数が存在するため，このように特性関数を求めます．なお特性関数は任意の分布に対して存在します．また各変数の条件は省略しています．

結果

最初に結果を記しますと次のようになります．次章では各分布について細かくみていきます．

• 再生性を持つ分布：二項分布，ポアソン分布，負の二項分布，正規分布，ガンマ分布，$\chi^2$分布

• 再生性を持たない分布：幾何分布，指数分布

確認

二項分布 $Bin(n,p)$

二項分布 $Bin(n,p)$の確率関数は，$q=1-p$として

$$\begin{aligned} P(X=k|n,p) &= \binom{n}{k}p^k q^{n-k} \end{aligned}$$

モーメント母関数は二項定理を用いて

$$\begin{aligned} M(t) &= E[e^{tX}] \\ &= \Sigma_k \binom{n}{k}(pe^t)^k q^{n-k}\\ &= (pe^t + q)^n \end{aligned}$$

よって特性関数は

$$\begin{aligned} \phi(t) &= (pe^{it} + q)^n \end{aligned}$$

$X \sim Bin(n_1,p), Y \sim Bin(n_2,p)$とすると

$$\begin{aligned} \phi_{X+Y}(t) &= \phi_X(t)\phi_Y(t)\\ &= (pe^{it} + q)^{n_1} (pe^{it} + q)^{n_2} \\ &= (pe^{it} + q)^{n_1+n_2} \end{aligned}$$

よって$X+Y \sim Bin(n_1+n_2, p)$であるから，二項分布は再生性を持ちます．

ポアソン分布 $Po(\lambda)$

ポアソン分布$Po(\lambda)$の確率関数は

$$\begin{aligned} P(X=k|\lambda) &= e^{-\lambda} \frac{\lambda^k}{k!} \end{aligned}$$

ポアソン分布が確率変数であることを用いると，モーメント母関数は

$$\begin{aligned} M(t) &= E[e^{tX}] \\ &= \Sigma_k e^{-\lambda} \frac{(\lambda e^t)^k}{k!} \\ &= e^{-\lambda} e^{\lambda e^t} \Sigma_k e^{-\lambda e^t} \frac{(\lambda e^t)^k}{k!} \\ &= e^{\lambda(e^t - 1)} \end{aligned}$$

よって特性関数は

$$\begin{aligned} \phi(t) &= e^{\lambda(e^{it} - 1)} \end{aligned}$$

$X \sim Po(\lambda_1), Y \sim Po(\lambda_2)$とすると

$$\begin{aligned} \phi_{X+Y}(t) &= \phi_X(t)\phi_Y(t)\\ &= e^{\lambda_1(e^{it} - 1)} e^{\lambda_2(e^{it} - 1)} \\ &= e^{(\lambda_1 + \lambda_2)(e^{it} - 1)} \end{aligned}$$

よって$X+Y \sim Po(\lambda_1+\lambda_2)$であるから，ポアソン分布は再生性を持ちます．

負の二項分布 $NB(r, p)$

負の二項分布 $NB(r, p)$の確率関数は，$q=1-p$として

$$\begin{aligned} P(X=k|r, p) &= \binom{r+k-1}{k}p^r q^k \end{aligned}$$

負の二項分布が確率変数であることを用いると，モーメント母関数は

$$\begin{aligned} M(t) &= E[e^{tX}] \\ &= \Sigma_k \binom{r+k-1}{k}p^r (qe^t)^k\\ &= \frac{p^r}{(1- qe^t)^r } \Sigma_k \binom{r+k-1}{k} (1- qe^t)^r (qe^t)^k\\ &= \left( \frac{p}{1- qe^t} \right)^r \end{aligned}$$

よって特性関数は

$$\begin{aligned} \phi(t) &= \left( \frac{p}{1- qe^t} \right)^r \end{aligned}$$

$X \sim NB(r_1, p), Y \sim NB(r_2, p)$とすると

$$\begin{aligned} \phi_{X+Y}(t) &= \phi_X(t)\phi_Y(t)\\ &= \left( \frac{p}{1- qe^t} \right)^{r_1} \left( \frac{p}{1- qe^t} \right)^{r_2} \\ &= \left( \frac{p}{1- qe^t} \right)^{r_1+r_2} \end{aligned}$$

よって$X+Y \sim NB(r_1+r_2, p)$であるから，負の二項分布は再生性を持ちます．

幾何分布 $Geo(p)$

幾何分布 $Geo(p)$の確率関数は，$q=1-p$として

$$\begin{aligned} P(X=k|p) &= pq^k \end{aligned}$$

幾何分布が確率変数であることを用いると，モーメント母関数は

$$\begin{aligned} M(t) &= E[e^{tX}] \\ &= \Sigma_k p(qe^t)^k \\ &= \frac{p}{1-qe^t} \Sigma_k (1-qe^t)(qe^t)^k \\ &= \frac{p}{1-qe^t} \end{aligned}$$

よって特性関数は

$$\begin{aligned} \phi(t) &= \frac{p}{1-qe^{it}} \end{aligned}$$

$X \sim Geo(p_1), Y \sim Geo(p_2)$とすると

$$\begin{aligned} \phi_{X+Y}(t) &= \phi_X(t)\phi_Y(t)\\ &= \frac{p_1}{1- (1-p_1)e^{it}} \frac{p_2}{1-(1-p_2)e^{it}}\\ &\neq \frac{p_1+p_2}{1- [1-(p_1+p_2)e^{it}]} \end{aligned}$$

よって$X+Y$は$Geo(p_1+p_2)$に従わないため，幾何分布は再生性を持ちません．

正規分布 $\mathcal{N}(\mu, \sigma^2)$

正規分布 $\mathcal{N}(\mu, \sigma^2)$の確率密度関数は

$$\begin{aligned} f(x|\mu, \sigma^2)=\frac{1}{\sqrt{2 \pi} \sigma} \exp \left[ -\frac{(x-\mu)^2}{2 \sigma^2} \right] \end{aligned}$$

標準正規分布のモーメント母関数$\tilde{M}(t)$は

$$\begin{aligned} \tilde{M}(t) &= E[e^{tX}] \\ &= \int_{-\infty}^{\infty} \frac{1}{\sqrt{2 \pi}} \exp \left[ -\frac{x^2}{2} +tx \right] dx\\ &= e^{\frac{t^2}{2}}\int_{-\infty}^{\infty} \frac{1}{\sqrt{2 \pi}} \exp \left[ -\frac{(x-t)^2}{2}\right] dx\\ &= e^{\frac{t^2}{2}} \end{aligned}$$

よって標準正規分布の特性関数$\tilde{\phi}(t)$は

$$\begin{aligned} \tilde{\phi}(t) &= e^{- \frac{t^2}{2}} \end{aligned}$$

$Z \sim \mathcal{N}(0, 1)$の時，$\sigma Z + \mu \sim \mathcal{N}(\mu, \sigma^2)$であるから，正規分布 $\mathcal{N}(\mu, \sigma^2)$の特性関数は

$$\begin{aligned} \phi(t) &= E[e^{it(\sigma Z + \mu )} ] \\ &= e^{i\mu t} \tilde{\phi}(\sigma t)\\ &= e^{i\mu t - \frac{\sigma ^2 t^2}{2}} \end{aligned}$$

$X \sim \mathcal{N}(\mu_1, \sigma_1^2), Y \sim \mathcal{N}(\mu_2, \sigma_2^2)$とすると

$$\begin{aligned} \phi_{X+Y}(t) &= \phi_X(t)\phi_Y(t)\\ &= e^{i\mu_1 t - \frac{\sigma_1 ^2 t^2}{2}} e^{i\mu_2 t - \frac{\sigma _2^2 t^2}{2}}\\ &= e^{i(\mu_1+\mu_2) t - \frac{(\sigma_1^2 +\sigma_2^2) t^2}{2}} \end{aligned}$$

$X+Y \sim \mathcal{N}(\mu_1+\mu_2, \sigma_1^2 + \sigma_2^2)$であるから，正規分布は再生性を持ちます．

指数分布 $Ex(\lambda)$

指数分布 $Ex(\lambda)$の確率密度関数は，

$$\begin{aligned} f(x|\lambda) &=\lambda e^{-\lambda x}, x>0 \end{aligned}$$

指数分布が確率変数であることを用いると，モーメント母関数は

$$\begin{aligned} M(t) &= E[e^{tX}] \\ &= \int_{0}^{\infty} \lambda e^{-(\lambda-t) x} dx\\ &= \frac{\lambda}{\lambda-t} \int_{0}^{\infty} (\lambda-t) e^{-(\lambda-t) x}dx \\ &= \frac{\lambda}{\lambda-t} \end{aligned}$$

よって特性関数は

$$\begin{aligned} \phi(t) &= \frac{\lambda}{\lambda-it} \end{aligned}$$

$X \sim Ex(\lambda_1), Y \sim Ex(\lambda_2)$とすると

$$\begin{aligned} \phi_{X+Y}(t) &= \phi_X(t)\phi_Y(t)\\ &=\frac{\lambda_1}{\lambda_1-it} \frac{\lambda_2}{\lambda_2-it} \\ &\neq \frac{\lambda_1 + \lambda_2}{(\lambda_1+\lambda_2)-it} \end{aligned}$$

よって$X+Y$は$Ex(\lambda_1+\lambda_2)$に従わないため，指数分布は再生性を持ちません．

ガンマ分布　$Ga(\alpha, \beta)$

ガンマ分布　$Ga(\alpha, \beta)$の確率密度関数を次のように表現する．

$$\begin{aligned} f(x|\alpha, \beta) &= \frac{\beta^{\alpha} }{\Gamma(\alpha)} x^{\alpha -1} e^{-\beta x} \end{aligned}$$

ただし$\Gamma(\alpha)$はガンマ関数であり，

$$\begin{aligned} \Gamma(\alpha) &= \int_{0}^{\infty} x^{\alpha -1 } e^{-x} dx \end{aligned}$$

で与えられます．ガンマ分布が確率変数であることを用いると，モーメント母関数は

$$\begin{aligned} M(t) &= E[e^{tX}] \\ &= \int_{0}^{\infty} \frac{\beta^{\alpha}} {\Gamma(\alpha)} x^{\alpha -1} e^{-(\beta-t) x} dx\\ &= \frac{\beta^{\alpha}}{(\beta-t)^{\alpha}} \int_{0}^{\infty} \frac{(\beta-t)^{\alpha}} {\Gamma(\alpha)} x^{\alpha -1} e^{-(\beta-t) x} dx \\ &= \left(\frac{\beta}{\beta-t} \right)^{\alpha} \end{aligned}$$

よって特性関数は

$$\begin{aligned} \phi(t) &= \left(\frac{\beta}{\beta-it} \right)^{\alpha} \end{aligned}$$

$X \sim Ga(\alpha_1, \beta), Y \sim Ga(\alpha_2, \beta)$とすると

$$\begin{aligned} \phi_{X+Y}(t) &= \phi_X(t)\phi_Y(t)\\ &= \left(\frac{\beta}{\beta-it} \right)^{\alpha_1} \left(\frac{\beta}{\beta-it} \right)^{\alpha_2} \\ &= \left(\frac{\beta}{\beta-it} \right)^{\alpha_1+\alpha_2} \end{aligned}$$

$X+Y \sim Ga(\alpha_1+\alpha_2, \beta)$であるから，ガンマ分布は再生性を持ちます．

$\chi^2$分布 $\chi_n^2$

$\chi^2$分布 $\chi_n^2$の確率密度関数は

$$\begin{aligned} f(x) &= \frac{1}{\Gamma(n/2)} \left(\frac{1}{2} \right)^{n/2} x^{n/2 -1} e^{-x/2} \end{aligned}$$

これはガンマ分布$Ga(\frac{n}{2}, \frac{1}{2})$に他ならないので，ガンマ分布と同様に$\chi^2$分布も再生性を持ちます．

特性関数は

$$ \begin{aligned} \phi(t) &= \left(\frac{1}{1-2it} \right)^{\frac{n}{2}} \end{aligned}$$

おわりに

本記事では代表的な確率分布の再生性を確認しました．当初のモチベであった指数分布は再生性を持っていませんでしたね．

モーメント母関数がわかれば，分布の平均は$\mu=M'(0)$，分散は$\sigma^2 = M''(0) - (M'(0))^2$と直ちに計算できるので，気になった方は各自計算してみてください．(打ち込むのが面倒だったのでここでは扱いません......)