随机过程1

概述

本系列文章计划总结整理中国科学院大学《随机过程》课程相关知识，课程主讲老师：张颢

1.教辅

1. 《随机过程及其应用》–陆大金 张颢 ；
2. 《Probability Random Variables and Stochastic Process》–Dapoulis,4th Edition；
3. 《Stochastic Process》–S.Ross,2ed Edition ；
4. 《Introduction to Stachastic Models》,7th Edition ；

2.主要内容

随机过程主要研究：多个随机变量之间的关联关系。关联关系有：

$关联关系=\left\{ \begin{aligned} Linear Relationship(Correlation) &&线性关系 主要研究工具：相关 \\ Markov property && 研究连续和离散 \\ Martingale && 鞅,随机过程在金融中的应用(选讲) \end{aligned} \right.$

3.概率论–基本概念回顾

概率论主要研究：随机性/不确定性（Randomness<=>Uncertainty）。

3.1对“不确定性”的认识

对于一般人来说“某次抛硬币的结果”是不确定的。但是，如果一个人熟练的掌握抛硬币整个过程的物理特性，如“抛时的用力“，”空气动力学”等知识；那么他在硬币起抛后对结果是确定的。爱因斯坦曾经说过：“引入不确定性是对无知的妥协”。那么，我们该如何正确看待不确定性呢？对于一般人而言，必须明确区分<有没有必要/有没有能力 知道不确定性>。

3.2 应对“不确定性”应该怎么做

设计统计实验，统计实验事先不知道实验结果，一次实验会产生一个结果；将所有可能的结果放在一起，构成样本空间；研究每个统计结果可能出现的概率。
$Statistical Experiment&lt;=&gt;Sample Space(\Omega)&lt;=&gt;Probability(Possibility)$
概率的重要特性：可数可加性

3.3随机变量（Random Variable）

随机变量是一个函数，具有确定的形式；是由样本空间->函数值的一个确定的映射。随机变量本身没有随机性，具有随机性的是：样本空间中的样本点。随机变量的作用是：对样本空间中的样本点起量化作用。因为，统计实验的结果没有数值意义。如抛硬币实验的结果是“正”、”负“，需要将结果进行数值化后，才能够进行数学计算。
$X:\Omega-&gt;R(Determined)$

3.4分布函数（Distribution Function）

$F_X=P(X\leq x)=P(\{\omega:X(\omega)\leq x\})$

3.5概率密度（Density）

概率密度函数为分布函数的导数，概率密度函数的两个特性：恒大于零、积分为1.
$f_X(x)=\frac{d}{dx} F_X(x)$

3.6概率（Probability）

$P(A)= \sum_{x \in A} P(\{ x\})$
$P(A)= \int_A f_X(x)dx$

4.随机过程

研究多个随机变量之间的关系，以下以两个随机变量X,Y为例，简单说明。

4.1 联合分布

X,Y两个随机变量，基于同一个样本空间，研究两个随机变量的取值之间的相互影响程度。
$X,Y:\Omega-&gt;R$
$P(X=x,Y=y)=P_{xy}=P(\{\omega :X(\omega)=x\} \cap \{\omega :Y(\omega)=y\})$

4.2分布密度–观察两个变量之间的关联

二元函数的分布函数为联合函数的混合偏导数。分布函数形式确定了两个随机变量之间的取值影响关系，下面展示三个简单的例子。
例子1
$f_{XY}(x,y)=\left\{ \begin{aligned} \frac{1}{4} &amp;&amp;|x|\leq1, |y|\leq 1\\ 0 &amp;&amp; otherwise \\ \end{aligned} \right.$


X在(-1,1) 之间任取一个确定的值时，Y的取值范围都是(-1,1)；所以，不难看出X的取值不影响Y的取值。即两个随机变量之间没有任何关联。
例子2
$f_{XY}(x,y)=\left\{ \begin{aligned} \frac{1}{\pi} &amp;&amp;x^2+y^2\leq1\\ 0 &amp;&amp; otherwise \\ \end{aligned} \right.$

X在(-1,1) 之间取一个确定的值时，Y的取值范是在变化的；所以，不难看出X的取值会影响Y的取值。即两个随机变量之间有某种关系。
例子3
下例不考虑概率密度的严格形式，图为概率等高线投影图。直观看来，此时X,Y之间的关系近似于线性。

三个例子小结：
概率密度投影（方->圆->椭圆），随机变量X,Y之间的关系趋向于线性。那么两者之间的关系可否写出例如 $y=\alpha x$的形式？

$y=\alpha x=&gt;Y?=\alpha X(Y(\omega)?=\alpha X(\omega))$
有两种方法来研究此关系式。

4.3 两种方法定性分析X,Y之间的关系

4.3.1方法1：
步骤1： Metric 明确度量
步骤2： Optimization 优化
要考虑上述关系式子是否成立，首先要考虑”=“是否成立；其次比例系数 $\alpha$是多少。用 $d(Y,\alpha X)$表示 $Y,\alpha X$之间的距离，则目标是将此距离控制在尽可能小的范围内。如果采用均方距离，目标函数为:
$\min_{\alpha}(d(Y,\alpha X))=\min_{\alpha}(E|Y-\alpha X|^2)$
$g(\alpha)=E|Y-\alpha X|^2$
$\bigtriangledown _\alpha g(\alpha)=\bigtriangledown _\alpha(E|Y|^2+\alpha ^2E|X|^2-2\alpha E|XY|)=2\alpha E|X|^2-2E|XY|=0$
$=&gt;\alpha =\frac{E|XY|}{E|X|^2}$
$\alpha$中的E(XY)表征了 随机变量XY之间的相关关系，E(XY)为二元函数 $H*H-&gt;R$,具有：非负、对称、双线性三个性质（三个性质的展示缺失）。与此同时，以上三个性质符合内积的定义。所以E(XY)的几何含义为：
$E(XY)=&lt;X,Y&gt;$
仿照两向量间夹角公式:
$\cos \angle(x,y)=\frac{&lt;x,y&gt;}{&lt;x,x&gt;&lt;y,y&gt;}=\frac{x^Ty}{||x||_2||y||_2}$
$\cos \angle(X,Y)=\frac{E(XY)}{\sqrt{ E|X|^2E|Y|^2}}(Correlation Coefficient)$
如果E(XY)=0
$=&gt;\cos \angle(X,Y)=\frac{\pi}{2}=&gt;Orthogonality$
4.3.2 方法2
从几何的角度解释X,Y之间的关系：

变量Y拟合直线在水平坐标轴上的投影为：
$l=||Y||cos\alpha=||Y||\frac{&lt;X,Y&gt;}{||X||||Y||}=\frac{&lt;X,Y&gt;}{||X||}$
$\vec l=l\frac{X}{||X||}=\frac{&lt;X,Y&gt;}{||X||}\frac{X}{||X||}=\frac{&lt;X,Y&gt;}{||X||^2}X=\frac{E(X,Y)}{E|X|^2}X$

5.总结

随机过程主要研究多个随机变量之间关系，通过各种方法表示这些关系。此文对随机过程的实际应用讨论缺失，希望能在此后的文章中填补此块空白。（6h)