数理统计与参数估计

常用概念

---

期望

$$离散型：E(X)=\sum_ix_ip_i \\ 连续性：E(X)=\int_{-\infty}^{+\infty}xf(x)dx$$

期望的性质

$$E(kX)=kE(X) \\ E(X+Y)=E(X)+E(Y) \\ 若X和Y相互独立：E(XY)=E(X)E(Y)$$

方差

$$Var(X)=E\{ [X-E(X)]^2\}=E(X^2)-E^2(X)$$

方差的性质

$$Var(C)=0 \\ Var(X+C)=Var(X) \\ Var(kX)=k^2Var(X) 若X和Y相互独立：Var(X+Y)=Var(X)+Var(Y)$$

协方差

$$Cov(X,Y)=E\{ [X-E(X)][Y-E(Y)]\}$$

协方差的性质

$$Cov(X,Y)=Cov(Y,X)=E(XY)-E(X)E(Y) \\ Cov(aX+b,cY+d)=acCov(X,Y) \\ Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y) \\$$

协方差的上界

$$若Var(X)=\sigma_1^2,Var(Y)=\sigma_2^2 \\ 则 |Cov(X,Y)| \leqslant \sigma_1 \sigma_2, \quad 当且晋档X和Y之间有线性关系时，等号成立$$

Pearson相关系数

$$\rho_{XY}=\frac{Cov(X,Y)}{\sqrt{Var(X)Var(Y)}} \\ -1 \leqslant \rho_{XY} \leqslant 1$$

协方差应用

• 通过相关系数矩阵来优化特征数量（筛选特征）
• 不相关不一定相互独立（可能存在非线性关系），但对于二维正态随机变量，X和Y不相关等价于X与Y相互独立；

距

k阶原点矩

$$E（X^k)$$

k阶中心距

$$E\{ [X-E(X)]^k\}$$

重要的定理与不等式

---

Jensen不等式(若f为凸函数)

$$f(\theta x+(1-\theta)y) \leqslant \theta f(x)+(1-\theta)f（y)$$

扩展

$$若\quad \theta_1,...,\theta_k \geqslant 0,\theta_1+...+\theta_k=1 \\ 则\quad f(\theta_1x_1+...+\theta_kx_k) \leqslant \theta_1f(x_1)+...+\theta_kf(x_k)$$

连续情况

$$若\quad p(x) \geqslant 0 \quad on \quad S \in \bold{dom} f, \quad \int_Sp(x)dx=1 \\ 则 \quad f(\int_Sp(x)xdx) \leqslant \int_Sf(x)p(x)dx$$

切比雪夫不等式

$$设随机变量X的期望为\mu,方差为\sigma^2,对于任意正数\epsilon,有： \\ P\{|X-\mu| \geqslant \epsilon\} \leqslant \frac{\sigma ^2}{\epsilon^2}$$

切比雪夫不等式说明，X的方差越小，X的取值月集中在期望附近

大数定理

$$设随机变量X_1,X_2,...,X_n相互独立，并且具有相同的期望\mu和方差\sigma^2，则对于任意正数\epsilon,有： \\ \lim_{n \to \infty}P\{ |Y_n-\mu| < \epsilon\} =1$$

计算Y的期望和方差，带入切比雪夫不等式，通过夹逼定理即可证明。

中心极限定理 Central Limit Theorem

$$设随机变量X_1,X_2,...,X_n相互独立，服从同一分布，并且具有相同的期望\mu和方差\sigma^2，则随机变量 \\ Y_n= \frac{\sum_{i=1}^nX_i-n\mu}{\sqrt{n}\sigma}的分布收敛到标准正态分布$$

正态分布的应用

实际问题中，很多随机现象可以看做许多因素的独立影响的综合反应（取和），往往近似的服从正态分布：

• 城市的耗电量：大量独立用户耗电量的和；
• 测量误差：各种微小误差的总和（如果是乘性误差需要先取对数）；
• 线性回归中，将使用该定理论证最小二乘法的合理性；

用样本估计参数

---

矩估计

简单粗暴的通过样本分布估计总体分布；

极大似然估计