任意分布随机数生成

概率积分变换

若X为连续型随机变量，其cdf为F_X，则
$$U=F_X^{-1}(X)\sim U(0,1)$$
证明：
F X ( X = u ) = P ( X ≤ u ) F X − 1 ( u ) = { x ∣ F X ( x ) = u } = d e f inf ⁡ { x ∣ F X ( x ) = u } F_X(X=u)=P(X\leq u)\\ F^{-1}_X(u) =\{x|F_X(x)=u\}\overset{\underset{def}{}}{=}\inf\{x|F_X(x)=u\} FX​(X=u)=P(X≤u)FX−1​(u)={ x∣FX​(x)=u}=def​inf{ x∣FX​(x)=u}
若$U\sim U(0,1)$，则对所有$x\in \mathcal{R}$，有
P ( F X − 1 ( U ) ≤ x ) = P ( i n f { t ∣ F X ( t ) = U } ≤ x ) = P ( U ≤ F X ( x ) ) = F U ( F X ( x ) ) = F X ( x ) = P ( X ≤ x ) P(F_X^{-1}(U)\leq x)=P(inf\{t|F_X(t)=U\}\leq x)\\ =P(U\leq F_X(x))=F_U(F_X(x))=F_X(x)=P(X\leq x) P(FX−1​(U)≤x)=P(inf{ t∣FX​(t)=U}≤x)=P(U≤FX​(x))=FU​(FX​(x))=FX​(x)=P(X≤x)
故$F_X^{-1}(U)$和X同分布。

取舍法

假设X和Y是随机变量，其pdf分别为f和g。满足：
$$\frac{f(t)}{g(t)}\le c，\forall ts.t.f(t)>0$$
可用以下流程生成随机数：

• 找一个可以方便生成随机数的随机变量Y，其pdf g满足$f(t)/g(t)\le c,\forall ts.t.f(t)>0$。
• 从g中产生一个随机数y。
• 从均匀分布U(0,1)中产生一个随机数u。
• 若u<f(y)/(cg(y))，则接受x=y，否则拒绝y，重复产生y，直到产生给定个数的x。

证明：

P(Y\leq y|U\leq\frac{f(Y)}{cg(Y)})=\frac{P(Y\leq y,U\leq\frac{f(Y)}{cg(Y)})}{P(U\leq \frac{f(Y)}{cg(Y)})}=\frac{P(U\leq\frac{f(Y)}{cg(Y)},Y\leq y)}{1/c}\
=\int_{-\infin}^y\frac{P(U\leq\frac{f(Y)}{cg(Y)},Y=\omega\leq y)}{1/c}g(\omega)d\omega\
=c\int_{-\infin}^y\frac{f(\omega)}{cg(\omega)}g(\omega)d\omega\
=F_X(y)
$$\begin{gathered} P(Y\le y|U\le \frac{f(Y)}{cg(Y)})=\frac{P(Y\le y,U\le \frac{f(Y)}{cg(Y)})}{P(U\le \frac{f(Y)}{cg(Y)})}=\frac{P(U\le \frac{f(Y)}{cg(Y)},Y\le y)}{1/c} \\ ={\int }_{-\infty }^y\frac{P(U\le \frac{f(Y)}{cg(Y)}|Y=\omega \le y)}{1/c}g(\omega )d\omega \\ =c{\int }_{-\infty }^y\frac{f(\omega )}{cg(\omega )}g(\omega )d\omega \\ =F(y) \end{gathered}$$

$$\begin{gathered} P(U\le \frac{f(Y)}{cg(Y)})={\int }_{-\infty }^{\infty }\frac{f(y)}{cg(y)}\times g(y)dy \\ =\frac{1}{c}{\int }_{-\infty }^{\infty }f(y)dy=\frac{1}{c} \end{gathered}$$
2.
$$\begin{gathered} P(U\le \frac{f(Y)}{cg(Y)}|Y\le y)=\frac{P(U\le \frac{f(Y)}{cg(Y)},Y\le y)}{G(y)} \\ ={\int }_{-\infty }^y\frac{P(U\le \frac{f(Y)}{cg(Y)}|Y=\omega \le y)}{G(y)}g(\omega )d\omega \\ =\frac{1}{G(y)}{\int }_{-\infty }^y\frac{f(\omega )}{cg(\omega )}g(\omega )d\omega =\frac{F(y)}{cG(y)} \end{gathered}$$
3.
$$\begin{gathered} P(Y\le y|U\le \frac{f(Y)}{cg(Y)})=\frac{P(U\le \frac{f(Y)}{cg(Y)}|Y\le y)P(Y\le y)}{P(U\le \frac{f(Y)}{cg(Y)})} \\ =\frac{F(y)}{cG(y)}\frac{G(y)}{1/c}=F(y) \end{gathered}$$
故满足条件$U\le \frac{f(Y)}{cg(Y)}$时，Y的条件分布概率是F(y)。

为了得到最准确的分布，最好c=max(f(t))/min(g(t))。但某些时候这样可能导致接受率过低。可以人为减小c来增大接受率（增大太多生成的分布会偏离目标分布，$P(U\le \frac{f(Y)}{cg(Y)}=\frac{1}{c}$不严格成立）。