矩母函数
定义矩母函数会让我们一些操作变得简单。
随机变量$X$的矩母函数$M(t)$如下定义：
$\begin{aligned}
M\left( t \right) \ =\ E\left[ e^{tX} \right] \ =\ \left\{ \begin{array}{l}
\sum_x {e^{tx}p\left( x \right)} & 若X离散，p(x)是其分布列\\
\int_{-\infty}^{\infty}{e^{tx}f\left( x \right) dx} & 若X连续，p(x)是其密度函数\\
\end{array}\ \right.
\end{aligned}$
其中$t$是任意实数，我们称$M(t)$是矩母函数的原因是，$X$的所有各阶矩都可以从$M(t)$在$t=0$的各阶导数得到。例如：
$\begin{aligned}
M'\left( t \right) \ =\ \frac{d}{dt}E\left[ e^{tx} \right] \ =\ E\left[ \frac{d}{dt}\left( e^{tX} \right) \right] \ =E\left[ Xe^{tX} \right]
\end{aligned}$
事实上，对与导数和期望两种运算假定是可以交换顺序的，即下述两种情况
$\begin{aligned}
\frac{d}{dt}\left[ \sum_x^{}{e^{tx}p\left( x \right)} \right] \ =\ \sum_x^{}{\frac{d}{dt}\left[ e^{tx}p\left( x \right) \right]}
\end{aligned}$
和
$\begin{aligned}
\frac{d}{dt}\left[ \int{e^{tx}f\left( x \right) dx} \right] \ =\ \int{\frac{d}{dt}\left[ e^{tx}f\left( x \right) \right] dx}
\end{aligned}$
是成立的。
那么$t=0$的时候，就有
$\begin{aligned}
M'(0) = E[X]
\end{aligned}$
类似的可以得到
$\begin{aligned}
M''(t) = \frac{d}{dt} M'(t) = \frac{d}{dt}E\left[ Xe^{tX} \right] \ =\ E\left[ \frac{d}{dt}\left( Xe^{tX} \right) \right] \ =\ E\left[ X^2e^{tX} \right]
\end{aligned}$
那么有
$\begin{aligned}
M''(0) = E[X^2]
\end{aligned}$
归纳的对$M(t)$求$n$次导可得
$\begin{aligned}
M^n(t) = E[X^ne^{tx}]
\end{aligned}$
从而有
$\begin{aligned}
M''(0) = E[X^n], n\geq 1
\end{aligned}$
现在，我们利用它求一些常见分布的矩母函数$M(t)$。注意，一般情况下上述情况是成立的、
参数为$(n,p)$的二项分布
设$X$是参数为$(n,p)$的二项随机变量，则
$\begin{aligned}
M\left( t \right) \ =&\ E\left[ e^{iX} \right] \ \\
=& \ \sum_{k=0}^n{e^{tk}\left( \begin{array}{c}
n\\
k\\
\end{array} \right) p^k\left( 1-p \right) ^{n-k}}\\
=&\sum_{k=0}^n\left( \begin{array}{c}
n\\
k\\
\end{array} \right) \left( pe^t \right) ^k\left( 1-p \right) ^{n-k}\\
=&\left( pe^t+1-p \right) ^n
\end{aligned}$
最后一个等式利用二项式定理可以推出，现在，我们对两边求微分可得
$\begin{aligned}
M'(t) = n(pe^t+1-p)^{n-1}pe^t
\end{aligned}$
因此
$\begin{aligned}
E[x] = M'(0) = np
\end{aligned}$
对于二阶导，两边求导可得
$\begin{aligned}
M''\left( t \right) \ =\ n\left( n-1 \right) \left( pe^t+1-p \right) ^{n-2}\left( pe^t \right) ^2+n\left( pe^t+1-p \right) ^{n-1}pe^t
\end{aligned}$
所以
$\begin{aligned}
E[X^2] = M''(0) = n(n-1)p^2+np
\end{aligned}$
那么我们可以得到方差
$\begin{aligned}
\text{Var}\left( X \right) \ =\ E\left[ X^2 \right] -\left( E\left[ X \right] \right) ^2=n\left( n-1 \right) p^2+np-n^2p^2=np(1-p)
\end{aligned}$
验证完毕。
参数为$\lambda$的泊松分布
设$X$是服从参数为$\lambda$的泊松随机变量，则
$\begin{aligned}
M(t) = E[e^{tX}]=\sum_{n=0}^{\infty}{\frac{e^{tn}e^{\lambda}\lambda ^n}{n!}}\ =\ e^{-\lambda}\sum_{n=0}^{\infty}{\frac{\left( \lambda e^t \right) ^n}{n!}}\ =\ e^{-\lambda}e^{\lambda e^t}\ =\ \exp \left\{ \lambda \left( e^t-1 \right) \right\}
\end{aligned}$
它的一阶和二阶矩如下可得
$\begin{aligned}
M'(t) =& \lambda e^t\exp{\lambda(e^t-1)}\\
M''(t) =& (\lambda e^t)^2\exp{\lambda(e^t-1)}+\lambda e^t\exp{\lambda(e^t-1)}
\end{aligned}$
就有
$\begin{aligned}
E[X] =& M'(0) = \lambda\\
E[X^2] =& M''(0) =\lambda^2+\lambda\\
\text{Var}(X) =& E[X^2]-(E[X])^2 = \lambda
\end{aligned}$
所以泊松随机变量的期望和方程均为$\lambda $
正态分布
我们首先计算标准正态随机变量的矩母函数，令$Z$是参数为$0,1$的标准正态随机变量
$\begin{aligned}
\begin{aligned}M_{Z}(t)&=E[e^{tZ}]\\&=\frac{1}{\sqrt{2\pi}}\int_{-\infty}^{\infty}e^{tx}e^{-x^{2}/2}dx\\&=\frac{1}{\sqrt{2\pi}}\int_{-\infty}^{\infty}\exp\left\{-\frac{(x^{2}-2tx)}{2}\right\}dx\\&=\frac{1}{\sqrt{2\pi}}\int_{-\infty}^{\infty}\exp\left\{-\frac{(x-t)^{2}}{2}+\frac{t^{2}}{2}\right\}dx\\&=e^{t^{2}/2}\frac{1}{\sqrt{2\pi}}\int_{-\infty}^{\infty}e^{-(x-t)^{2}/2}dx\\&=e^{t^{2}/2}\end{aligned}
\end{aligned}$
因此，标准正态分布的矩母函数为$M_Z(t) = e^{t^2/2}$，而对于一般的正态随机变量，做替换$X = \mu+\sigma Z$即可，其中$\mu$和$\sigma^2$是$X$的期望和方差。$Z$是标准正态分布随机变量。就有
$\begin{aligned}
\begin{aligned}M_{X}(t)&=E[e^{tX}]\\&=E[e^{t(\mu+\sigma Z)}]\\&=E[e^{t\mu}e^{t\sigma Z}]\\&=e^{t\mu}E[e^{t\sigma Z}]\\&=e^{t\mu}M_{Z}(t\sigma)\\&=e^{t\mu}e^{(t\sigma)^{2}/2}\\&=\exp\left\{\frac{\sigma^{2}t^{2}}{2}+\mu t\right\}\end{aligned}
\end{aligned}$
那么就有：
$\begin{aligned}
\begin{aligned}&M_{X}^{\prime}(t)=(\mu+t\sigma^{2})\exp\left\{\frac{\sigma^{2}t^{2}}{2}+\mu t\right\}\\&M_{X}^{\prime\prime}(t)=(\mu+t\sigma^{2})^{2}\exp\left\{\frac{\sigma^{2}t^{2}}{2}+\mu t\right\}+\sigma^{2}\exp\left\{\frac{\sigma^{2}t^{2}}{2}+\mu t\right\}\end{aligned}
\end{aligned}$
矩为
$\begin{aligned}
E[X] =& M'(0) = \mu\\
E[X^2] =& M''(0) = \mu^2+\sigma^2\\
\text{Var}(X) =& E[X^2]-E([X])^2 = \sigma^2
\end{aligned}$
一个特殊的点是，独立随机变量和的矩母函数等于分别求各自矩母函数后的乘积，我们设两个矩母函数$M_X(t)$和$M_Y(t)$，则$M_{X+Y}(t)$是$X+Y$的矩母函数，则
$$\begin{aligned}\\M_{X+Y}(t)&=E[e^{t(X+Y)}]\\&=E[e^{tX}e^{tY}]\\&=E[e^{tX}]E[e^{tY}]\\&=M_X(t)M_Y(t)\end{aligned}$$
矩母联合函数
接下来，我们将矩母函数推广到两个或者多个随机变量的联合矩母函数，若$X_1,\cdots,X_n$是给定的随机变量序列，它的联合矩母函数$M(t_1,\cdots,t_n)$对实数$t_1,\cdots,t_n$定义：
$\begin{aligned}
M(t_1,\cdots,t_n) = E[e^{t_1X_1+\cdots+t_nX_n}]
\end{aligned}$
而$X_i$的矩母函数可以在联合矩母函数中定义除了$i$以外的变量为0得到，即
$\begin{aligned}
M_{X_i} = E[e^{tX_i}] = M(0,\cdots,0,t,0,\cdots,0)
\end{aligned}$
t的位置在第i个变量处。
矩母函数唯一的确定了分布，联合矩母函数也唯一的确定了他们的联合分布，但这个结论的证明暂时不在我们的讨论中。现在，利用结论，则$X_1,\cdots,X_n$互相独立的条件是
$\begin{aligned}
M(t_1,\cdots,t_n) = M_{X_1}(t_1)\cdots M_{X_n}(t_n)
\end{aligned}$
若$X_1,\cdots,X_n$互相独立，则
$\begin{aligned}M(t_{1},\ldots,t_{n})&=E[e^{(t_{1}X_{1}+\cdots+t_{n}X_{n})}]\\&=E[e^{t_{1}X_{1}}\cdots e^{t_{n}X_{n}}]\\&=E[e^{t_{1}X_{1}}]\cdots E[e^{t_{n}X_{n}}]\quad\text{由独立性得到}\\&=M_{X_{1}}(t_{1})\cdots M_{X_{n}}(t_{n})\end{aligned}$
另一个不同的证明如下：若矩母函数满足上述式子，则联合矩母函数$M(t_1,\cdots,t_n) = M_{X_1}(t_1)\cdots M_{X_n}(t_n) $。另外，由于联合矩母函数唯一的确定了联合分布函数，即
其中$F_{X_i}$为$X_i$的分布函数，由此可得$X_1,\cdots,X_n$是互相独立的，