逆变换采样

一般的编程语言都具有（伪）随机数生成功能，如 python 的random.random()函数，然而它们通常只对应均匀分布。那如果想生成符合任意概率分布的随机数，该如何在代码上实现呢？这就可以用到“逆变换采样”了。

1. 引理

假设$X$为一个连续随机变量，其累积分布函数为$CDF(x)=P(X \le x)$，若随机变量$Y=CDF(X)$，则$Y$服从区间$[0, 1]$上的均匀分布。

证明：已知：$CDF(x) \in [0, 1]$，且$CDF(x)$为单调递增函数。

$$\forall \; y < 0, \qquad P(Y \le y)=P(CDF(X) \le y)=0$$

$$\begin{aligned} \forall \; 0 \le y \le 1,\qquad P(Y \le y) &= P(CDF(X)\le y) \\ &= P(X\le CDF^{-1}(y)) \\ &= P(X\le x) \\ &= CDF(x) \\ &= y \end{aligned}$$

$$\forall \; y > 1, \qquad P(Y\le y) = P(CDF(X) \le y) = 1$$

综上，$Y$服从区间$[0,1]$上的均匀分布。

2. 推论：逆变换采样

假设$X$为一个连续随机变量，其累积分布函数为$CDF(x)=P(X \le x)$，则随机变量$Y=CDF(X)$服从区间$[0, 1]$上的均匀分布。逆变换采样即是将该过程反过来进行：

1. 首先对于随机变量$Y$，我们从$[0,1]$中随机均匀抽取一个数$y$；
2. 由于$X=CDF^{-1}(Y)$，可求得随机数$x=CDF^{-1}(y)$，故$x$即可看作是从分布$CDF(X)$中生成的随机样本。

3. 联想

突然想到一个疑问，似乎概率论课堂中有讲过但是一时又无法想出解答，暂记如下：

问题：设有连续随机变量$X$与$Y$，已知$X$的概率密度为$p_1(x)$，且$X$与$Y$有如下关系：

$$y=f(x)$$

那么$Y$的概率密度$p_2(y)$可如何表示？