$\color{blue}{Updating \cdots}$
在概率或者统计中,多元正态分布(多元高斯分布)是一元正态分布的扩展。其定义为:
定性描述
一个$k$维的随机向量,如果其$k$个分量的任意线性组合所构成的那个随机变量,都是一元正态分布的话,那么我们就说这个$k$维随机向量是服从$k$元正态分布。
$k$元正态分布常用来描述、逼近 这样的一组随机变量:实值随机变量的集合,这些随机变量之间(可能)有相关关系,并这些随机变量所构成的每一个cluster的中心都在某一个均值(集合中若干随机变量的均值)附近。
图示如下
概念及参数化
$k-dim$ 随机变量$\mathbb{X}=[X_1,X_2,\cdots,X_k]^T$ 的高斯分布可以写作:
$\color{blue}{\mathbb{X} \sim \mathit{N(\mu,\Sigma)}\,\,Or\,\, \mathbb{X} \sim \mathit{N_k}(\mu,\Sigma) }$
其$k-dim$ 均值(mean vector)为:
$\color{blue}{\mu = E[\mathbb{X}]=[E[X_1],E[X_2],\cdots,E[X_k]]^T}$
其$k \times k-dim$的协方差矩阵(covariance matrix)为:
$ \color{blue}{\Sigma = E[(\mathbb{X}-E[\mathbb{X}])(\mathbb{X}-E[\mathbb{X}])^T]}\color{blue}{= [Cov[\mathbb{X_i},\mathbb{X_j}]; 1<i,j<k]} $
要点:
- 均值 $\color{blue}{\mu}$ 是一个 $k-dim$ 的向量
- 协方差矩阵 $\color{blue}{\Sigma}$ 是一个$k\times k$ 的对称矩阵
定义
一个随机向量 $\mathbb{X}=[X_1,X_2,\cdots,X_k]^T$ 如果满足如下3个等价条件,那么我们就说 $\mathbb{X}$ 服从多元高斯分布:
- 其分量(components)的每一个线性组合:$Y=a_1X_1 + a_2X_2 + \cdots +a_kX_k$ 均为一元正态分布。也就是说,对任何常数向量 $a\in \mathbb{R}^k$, 随机变量 $Y=a^T X$ 都有一个一元高斯分布。
- todo
- todo
属性
由定义立即可以得到以下结论:
- $\mathbb{X}$ 的每个分量都是正态分布的
- $\sum_{i=1}^{k} X_i = X_1+X_2+\cdots+X_k$ 是正态分布的
- 每个边缘分布均是正态分布