北京师范大学-432统计学-2025年

  1. 从区间(a,b)(a,b)取nn个样本，给定组数kk。 （20分）

    （1）介绍绘制频率直方图的步骤.

    （2）f(x)f(x)为样本密度函数，任给x，f^(x)x，\hat{f}(x)是f(x)f(x)的估计值，求f^(x)\hat{f}(x)的均方误差.

Solution:

（1）1.确定组数和组距：组数: kk，组距: b−ak\frac{b-a}{k}。
2.计算频数：对于每个组，统计落在该组内的样本数量，即为该组的频数。
3.计算频率：将每个组的频数除以总样本数 nn ，得到该组的频率。
4.绘制直方图：在坐标系中，横轴表示样本值，纵轴表示频率。对于每个组，绘制一个矩形，其宽度为组距，高度为该组的频率。这些矩形相邻排列，形成直方图。

（2）均方误差是
MSE(f^(x))=E[(f^(x)−f(x))2]\text{MSE}(\hat{f}(x)) = E[(\hat{f}(x) - f(x))^2]
在直方图估计中，我们通常假设每个组内的样本是独立同分布的，并且每个样本落入某个特定组的概率是 f(x)Δxf(x) \Delta x ，其中 Δx\Delta x 是组距。在每个组内，样本数∼B(n,f(x)Δx)\sim B(n,f(x) \Delta x) ,方差是 nf(x)Δx(1−f(x)Δx)n f(x) \Delta x (1 - f(x) \Delta x) 。
由于:

f^(x)=落入本组的样本数nΔx,E(f^(x))=f(x)nΔxnΔx=f(x)\hat{f}(x)= \frac{落入本组的样本数}{n \Delta x},\quad E(\hat{f}(x))=\frac{f(x)n\Delta x}{n \Delta x}=f(x)

Var(f^(x))=nf(x)Δx(1−f(x)Δx)n2Δx2=f(x)(1−f(x)Δx)nΔx,Δx=b−ak\text{Var}(\hat{f}(x)) = \frac{n f(x) \Delta x (1 - f(x) \Delta x)}{n^2 {\Delta x}^2} = \frac{f(x) (1 - f(x) \Delta x)}{n \Delta x},\Delta x=\frac{b-a}{k}

由于f^(x)\hat{f}(x)为f(x)f(x)的无偏估计，所以：

MSE(f^(x))=Var(f^(x))=f(x)[k−f(x)(b−a)]n(b−a)\text{MSE}(\hat{f}(x)) =\text{Var}(\hat{f}(x)) =\frac{f(x)[k-f(x)(b-a)]}{n(b-a)}

  1. NN个球一共有LL种颜色，第kk种颜色球的个数为NkN_k，有放回摸球mm次 （30分）

（1）求摸到每种颜色球个数的协方差矩阵.

（2）X1X_1为摸到第一种颜色球的个数，X1(n)X_1(n)表示在n次摸球中摸到第一种颜色球的个数,证明:

P(X1(n+1)≥i+1)−P(X1(n)≥i+1)=N1NP(X1=i) P(X_1(n+1)\geq i+1)-P(X_1(n)\geq i+1)=\frac{N_1}{N}P(X_1=i)

（3） 证明：

∑k=n−inpk(1−p)n−k=∫0pxn−i−1(1−x)idx∫01xn−i−1(1−x)idx \sum_{k=n-i}^{n} p^k(1-p)^{n-k}=\frac{\int_{0}^{p}x^{n-i-1}(1-x)^i dx}{\int_{0}^{1}x^{n-i-1}(1-x)^i dx}

Solution:

(1) 定义随机变量 XkX_k 为摸到第 kk 种颜色球的个数，其中 k=1,2,…,Lk = 1, 2, \ldots, L 。由于每次摸球是独立的，并且有放回，所以 XkX_k 服从二项分布 B(m,Pk)B(m, P_k) ，其中 Pk=NkNP_k = \frac{N_k}{N} 是摸到第 kk 种颜色球的概率。

E[Xk]=mPk,Var(Xk)=mPk(1−Pk)E[X_k] = mP_k, \text{Var}(X_k) = mP_k(1-P_k)

对于 XkX_k 和 XjX_j （ k≠jk \neq j ），它们的协方差为：

Cov(Xk,Xj)=E[XkXj]−E[Xk]E[Xj]\text{Cov}(X_k, X_j) = E[X_k X_j] - E[X_k]E[X_j]

由于每次摸球只能摸到一个球，所以 Xk+Xj≤mX_k + X_j \leq m 。因此， XkX_k 和 XjX_j 是负相关的。

E[XkXj]=∑i=0m∑j=0m−ii⋅j⋅P(Xk=i,Xj=j)E[X_k X_j] = \sum_{i=0}^{m} \sum_{j=0}^{m-i} i \cdot j \cdot P(X_k = i, X_j = j)

由于 XkX_k 和 XjX_j 是负相关的，所以：

P(Xk=i,Xj=j)=P(Xk=i)⋅P(Xj=j∣Xk=i)P(X_k = i, X_j = j) = P(X_k = i) \cdot P(X_j = j \mid X_k = i)

给定 Xk=iX_k = i ，摸到第 jj 种颜色球的概率变为 NjN−Nk\frac{N_j}{N-N_k} ，所以：

P(Xj=j∣Xk=i)=(m−ij)(NjN−Nk)j(1−NjN−Nk)m−i−jP(X_j = j \mid X_k = i) = \binom{m-i}{j} \left( \frac{N_j}{N-N_k} \right)^j \left( 1 - \frac{N_j}{N-N_k} \right)^{m-i-j}

E[XkXj]=∑i=0mi⋅(mi)pki(1−pk)m−i∑j=0m−ij⋅(m−ij)(NjN−Nk)j(1−NjN−Nk)m−i−jE[X_k X_j] = \sum_{i=0}^{m} i \cdot \binom{m}{i} p_k^i (1-p_k)^{m-i} \sum_{j=0}^{m-i} j \cdot \binom{m-i}{j} \left( \frac{N_j}{N-N_k} \right)^j \left( 1 - \frac{N_j}{N-N_k} \right)^{m-i-j}

简化后得到：

E[XkXj]=∑i=0m−1i⋅(mi)pki(1−pk)m−i(m−i)(NjN−Nk)=m∑i=0m−1i⋅(m−1i)pki(1−pk)m−i(NjN−Nk)=m(m−1)Pk(1−Pk)Pj1−Pk=m(m−1)PkPj\begin{aligned} E[X_k X_j] &= \sum_{i=0}^{m-1} i \cdot \binom{m}{i} p_k^i (1-p_k)^{m-i} (m-i) \left( \frac{N_j}{N-N_k} \right) \\ &=m\sum_{i=0}^{m-1} i \cdot \binom{m-1}{i} p_k^i (1-p_k)^{m-i} \left( \frac{N_j}{N-N_k} \right)\\ &=m(m-1)P_k(1-P_k)\frac{P_j}{1-P_k}\\ &=m(m-1)P_kP_j \end{aligned}

所以：

Cov(Xk,Xj)=m(m−1)PkPj−(mPk)(mPj)=−mPkPj\text{Cov}(X_k, X_j) = m(m-1)P_kP_j - (mP_k)(mP_j) = -mP_k P_j

因此，协方差矩阵 Σ\Sigma 为：

Σkj={mPk(1−Pk)if k=j−mPkPjif k≠j \Sigma_{kj} = \begin{cases} mP_k(1-P_k) & \text{if } k = j \\ -mP_k P_j & \text{if } k \neq j \end{cases}

(2) 设P1=N1NP_1=\frac{N_1}{N}表示摸到第一种颜色球的概率。

P(X1(n)≥i+1)=∑k=i+1n(nk)P1k⋅(1−P1)n−kP(X_1(n)\geq i+1)= \sum_{k=i+1}^{n}\binom{n}{k} {P_1}^k \cdot({1-P_1})^{n-k}

P(X1(n+1)≥i+1)=∑k=i+1n+1(n+1k)P1k⋅(1−P1)n+1−kP(X_1(n+1)\geq i+1)= \sum_{k=i+1}^{n+1}\binom{n+1}{k} {P_1}^k \cdot({1-P_1})^{n+1-k}

P(X1(n+1)≥i+1)−P(X1(n)≥i+1)=∑k=i+1n+1(n+1k)P1k(1−P1)n+1−k−∑k=i+1n(nk)P1k(1−P1)n−k=(n+1n+1)P1n+1(1−P1)0+∑k=i+1n((n+1k)−(nk))P1k(1−P1)n+1−k=P1n+1+∑k=i+1n((n+1k)−(nk))P1k(1−P1)n+1−k\begin{aligned} P(X_1(n+1) \geq i+1) - P(X_1(n) \geq i+1) &= \sum_{k=i+1}^{n+1} \binom{n+1}{k} P_1^k (1-P_1)^{n+1-k} - \sum_{k=i+1}^{n} \binom{n}{k} P_1^k (1-P_1)^{n-k} \\ &= \binom{n+1}{n+1} P_1^{n+1} (1-P_1)^0 + \sum_{k=i+1}^{n} \left( \binom{n+1}{k} - \binom{n}{k} \right) P_1^k (1-P_1)^{n+1-k}\\ &= P_1^{n+1} + \sum_{k=i+1}^{n} \left( \binom{n+1}{k} - \binom{n}{k} \right) P_1^k (1-P_1)^{n+1-k} \end{aligned}

我们知道， (n+1k)=(nk)+(nk−1)\binom{n+1}{k} = \binom{n}{k} + \binom{n}{k-1} ，因此：

(n+1k)−(nk)=(nk−1)\binom{n+1}{k} - \binom{n}{k} = \binom{n}{k-1}

将这个性质代入上式，得到：

P(X1(n+1)≥i+1)−P(X1(n)≥i+1)=P1n+1+∑k=i+1n(nk−1)P1k(1−P1)n+1−k=∑j=in(nj)P1j+1(1−P1)n−j=P1∑j=in(nj)P1j(1−P1)n−j=P1P(X1(n)≥i)\begin{aligned} P(X_1(n+1) \geq i+1) - P(X_1(n) \geq i+1) &= P_1^{n+1} + \sum_{k=i+1}^{n} \binom{n}{k-1} P_1^k (1-P_1)^{n+1-k}\\ &= \sum_{j=i}^{n} \binom{n}{j} P_1^{j+1} (1-P_1)^{n-j} \\ &= P_1 \sum_{j=i}^{n} \binom{n}{j} P_1^j (1-P_1)^{n-j} \\ &= P_1 P(X_1(n) \geq i) \end{aligned}

（3） 令:

f(p)=∑k=n−inpk(1−p)n−k,g(p)=∫0pxn−i+1(1−x)idx∫01xn−i+1(1−x)idxf′(p)=∑k=n−in(nk)kpk−1(1−p)n−k−∑k=n−in−1(nk)pk(n−k)(1−p)n−k−1=∑k=n−inn⋅Cn−1k−1⋅pk−1⋅(1−p)n−k−∑k=n−in−1n⋅Cn−1k⋅pk⋅(1−p)n−k−1=∑k=n−i−1n−1n⋅Cn−1k⋅pk⋅(1−p)n−k−1−∑k=n−in−1n⋅Cn−1k⋅pk⋅(1−p)n−k−1=n⋅Cn−1n−i−1⋅pn−i−1⋅(1−p)i=Γ(n+1)Γ(n−i)Γ(i+1)pn−i−1(1−p)i\begin{aligned} f(p)&=\sum_{k=n-i}^{n} p^{k}(1-p)^{n-k},g(p)=\frac{\int_{0}^{p} x^{n-i+1}(1-x)^{i}dx}{\int_{0}^{1} x^{n-i+1}(1-x)^{i}dx}\\ f'(p) &= \sum_{k=n-i}^{n} \binom{n}{k} k p^{k-1} (1-p)^{n-k} - \sum_{k=n-i}^{n-1} \binom{n}{k} p^k (n-k)(1-p)^{n-k-1}\\ &= \sum_{k=n-i}^{n} n \cdot C_{n-1}^{k-1} \cdot p^{k-1} \cdot (1-p)^{n-k} - \sum_{k=n-i}^{n-1} n \cdot C_{n-1}^{k} \cdot p^{k} \cdot (1-p)^{n-k-1} \\ &= \sum_{k=n-i-1}^{n-1} n \cdot C_{n-1}^{k} \cdot p^{k} \cdot (1-p)^{n-k-1} - \sum_{k=n-i}^{n-1} n \cdot C_{n-1}^{k} \cdot p^{k} \cdot (1-p)^{n-k-1} \\ &= n \cdot C_{n-1}^{n-i-1} \cdot p^{n-i-1} \cdot (1-p)^{i} \\ &= \frac{\Gamma(n+1)}{\Gamma(n-i)\Gamma(i+1)} p^{n-i-1} (1-p)^{i} \end{aligned}

g′(p)=ddp∫0pxn−i−1(1−x)idxBe(n−i,i+1)=Γ(n+1)pn−i−1(1−p)iΓ(n−i)Γ(i+1)=f′(p)g'(p) =\frac{\frac{d}{dp} \int_{0}^{p} x^{n-i-1}(1-x)^{i}dx }{Be(n-i,i+1)}=\frac{\Gamma(n+1)p^{n-i-1}(1-p)^{i}}{\Gamma(n-i)\Gamma(i+1)}=f'(p)

下面验证当 p=0p = 0 和 p=1p = 1 时， f(p)f(p) 和 g(p)g(p) 是否相等。

f(0)=0，g(0)=0f(0) =0， g(0) = 0

f(1)=∑k=n−in1k(1−1)n−k=1,g(1)=∫01xn−i−1(1−x)idx∫01xn−i−1(1−x)idx=1f(1) = \sum_{k=n-i}^{n} 1^{k}(1-1)^{n-k} = 1, g(1) = \frac{\int_{0}^{1} x^{n-i-1}(1-x)^{i}dx}{\int_{0}^{1} x^{n-i-1}(1-x)^{i}dx} = 1

由于 f′(p)=g′(p)f'(p) = g'(p) 并且 f(p)f(p) 和 g(p)g(p) 在边界条件 p=0p = 0 和 p=1p = 1 下相等，得出结论 f(p)=g(p)f(p) = g(p) 对所有 pp 成立。

  1. 在 U(θ−cU(\theta-c，θ+c)\theta+c)区间内取样本:X1,...,XnX_1,...,X_n （20分）

    （1）求θ\theta的矩估计和极大似然估计.

    （2）证明X(1)+X(n)2\frac{X_{(1)}+X_{(n)}}{2}是θ\theta的无偏估计.

Solution:

(1) X1,X2,…,XnX_1, X_2, \ldots, X_n 来自均匀分布 U(θ−c,θ+c)U(\theta-c, \theta+c) , 期望为: θ−c+θ+c2=θ\frac{\theta-c+\theta+c}{2}=\theta 。样本均值 Xˉ\bar{X} 是总体均值的矩估计：

矩估计:θ^=Xˉ=1n∑i=1nXi矩估计: \hat{\theta} = \bar{X} = \frac{1}{n} \sum_{i=1}^n X_i

f(x;θ)=12c,θ−c≤x≤θ+cf(x; \theta) = \frac{1}{2c} \quad , \quad \theta-c \leq x \leq \theta+c

L(θ)=∏i=1nf(Xi;θ)=(12c)n,θ−c≤X(1)≤X(n)≤θ+cL(\theta) = \prod_{i=1}^n f(X_i; \theta) = \left(\frac{1}{2c}\right)^n \quad, \quad \theta-c \leq X_{(1)} \leq X_{(n)} \leq \theta+c

θ−c≤X(1)\theta-c \leq X_{(1)} 和 X(n)≤θ+cX_{(n)} \leq \theta+c 都成立时似然函数最大，即 X(n)−c≤θ≤X(1)+cX_{(n)}-c \leq\theta\leq X_{(1)}+c。因此，极大似然估计为：

θ^MLE={θ∣X(n)−c≤θ≤X(1)+c}\hat{\theta}_{MLE}=\{ \theta| X_{(n)}-c \leq\theta\leq X_{(1)}+c \}

(2)令:

Yi=Xi−ab−a,Yi∼U(0,1),Y(k)∼Beta(k,n−k+1)Y_i=\frac{X_i-a}{b-a},Y_i\sim U(0,1),Y_{(k)}\sim Beta(k,n-k+1)

则

Y(1)∼Beta(1,n),E(Y(1))=1n+1,E(X(1))=b−an+1+aY_{(1)}\sim Beta(1,n),E(Y_{(1)})=\frac{1}{n+1},E(X_{(1)})=\frac{b-a}{n+1}+a

Y(n)∼Beta(n,1),E(Y(1))=nn+1,E(X(n))=n(b−a)n+1+aY_{(n)}\sim Beta(n,1),E(Y_{(1)})=\frac{n}{n+1},E(X_{(n)})=\frac{n(b-a)}{n+1}+a

其中a=θ−c,b=θ+ca=\theta-c,b=\theta+c, 所以对于均匀分布 U(θ−c,θ+c)U(\theta-c, \theta+c) ，最小值 X(1)X_{(1)} 和最大值 X(n)X_{(n)} 的期望值分别为：

E[X(1)]=2cn+1+θ−c,E[X(n)]=2ncn+1+θ−c,E[X(1)+X(n)2]=θE[X_{(1)}] = \frac{2c}{n+1}+\theta-c, E[X_{(n)}] =\frac{2nc}{n+1}+ \theta-c, E\left[\frac{X_{(1)}+X_{(n)}}{2}\right] = \theta

所以 X(1)+X(n)2\frac{X_{(1)}+X_{(n)}}{2} 是 θ\theta 的无偏估计。

  1. X1,...,XnX_1,...,X_n服从正态分布N(μ，σ2)N(\mu，{\sigma}^2)　（20分）$$H_0:\mu={\mu}_0,\quad H_1:\mu>{\mu}_0$$ （1）介绍假设检验原理.

    （2） 分别求在σ2{\sigma}^2已知和未知下的pp值表达式和其分布.

Solution:

(1) 假设检验是统计学中的一种方法，用于判断一个假设是否成立, 假设检验的步骤如下：
1.提出假设：H0:μ=μ0,H1:μ>μ0H_0:\mu={\mu}_0,\quad H_1:\mu>{\mu}_0 。
2.选择检验统计量：根据数据的类型和分布选择合适的检验统计量,当σ\sigma已知的时候可以用单样本的uu检验,当σ\sigma未知时用tt检验。
3.确定显著性水平：选择一个显著性水平 α\alpha ，通常为 0.05 或 0.01。
4.计算检验统计量的值：根据样本数据计算检验统计量的值。当σ=σ0\sigma={\sigma}_0已知时统计量为Z=n(xˉ−μ0)σZ=\frac{\sqrt{n}(\bar{x}-{\mu}_0)}{\sigma},当σ\sigma未知时统计量为：T=n(xˉ−μ0)sT=\frac{\sqrt{n}(\bar{x}-{\mu}_0)}{s}
5.根据拒绝域做出决策：当σ=σ0\sigma={\sigma}_0已知时拒绝域为W={Z>z1−α}W=\{Z>z_{1-\alpha}\},当σ\sigma未知时拒绝域为：W={T>t1−α(n−1)}W=\{T>t_{1-\alpha}(n-1)\}。如果统计量落在拒绝域中 ，则拒绝零假设 ，接受备择假设 ；否则，不拒绝零假设。

（2）(i) 在 σ2{\sigma}^2已知时, 我们会选择检验统计量 u(X)=nX‾−μ0σ∼N(0,1)u(\boldsymbol{X}) ={\sqrt{n}} \frac{\overline{X}-\mu_0}{\sigma} \sim N(0,1), 当 uu 较大时, 或 X‾\overline{X} 比 μ0\mu_0 大很多时, 我们会拒绝原假设, pp-值的含义是当原假设成立时发生比当前样本还要极端的可能性, 它显然是样本的函数. 如果已收集到样本 x0\boldsymbol{x}_0, 对应有统计量 u0=u(x0)u_0 = u(\boldsymbol{x}_0), 那么 pp-值是:

p(x0)=P(Z≥u0)=1−Φ(u0)=1−Φ(u(x0)).p(\boldsymbol{x}_0) = P\left(Z \ge u_0 \right) = 1-\Phi(u_0) = 1- \Phi\left( u(\boldsymbol{x}_0) \right).

此时, 如果 x0\boldsymbol{x}_0 是已知样本, 那么 p(x0)p(\boldsymbol{x}_0) 也是已知量, 如果考虑样本是随机变量 X\boldsymbol{X}, 那 p(X)p(\boldsymbol{X}) 也是随机变量, 即:

p(X)=1−Φ(u(X)),p(\boldsymbol{X}) = 1- \Phi\left( u(\boldsymbol{X}) \right),

其中由于 u(X)∼N(0,1)u(\boldsymbol{X}) \sim N(0,1), 因此 Φ(u(X))\Phi(u(\boldsymbol{X})) 是分布函数作用在自身, Φ(u(X))∼U(0,1)\Phi(u(\boldsymbol{X})) \sim U(0,1), 而 1−U(0,1)1-U(0,1) 仍然服从 U(0,1)U(0,1), 因此:

p(X)=1−Φ(u(X))∼U(0,1).p(\boldsymbol{X}) = 1- \Phi\left( u(\boldsymbol{X}) \right) \sim U(0,1).

(ii) 在 σ2\sigma^2 未知时, 我们会选择检验统计量 u(X)=nX‾−μ0s∼t(n−1)u(\boldsymbol{X}) ={\sqrt{n}} \frac{\overline{X}-\mu_0}{s} \sim t(n-1), 当 uu 较大时, 或 X‾\overline{X} 比 μ0\mu_0 大很多时, 我们会拒绝原假设, 如果已收集到样本 x0\boldsymbol{x}_0, 对应有统计量 u0=u(x0)u_0 = u(\boldsymbol{x}_0), 那么 pp-值是:

p(x0)=P(T≥u0)=1−Ft,n−1(u(x0)).p(\boldsymbol{x}_0) = P\left(T \ge u_0 \right) = 1- F_{t,n-1}\left( u(\boldsymbol{x}_0) \right).

其中 Ft,n−1F_{t,n-1} 是 t(n−1)t(n-1) 的分布函数. 此时, 如果 x0\boldsymbol{x}_0 是已知样本, 那么 p(x0)p(\boldsymbol{x}_0) 也是已知量, 如果考虑样本是随机变量 X\boldsymbol{X}, 那 p(X)p(\boldsymbol{X}) 也是随机变量, 即:

p(X)=1−Ft,n−1(u(X)),p(\boldsymbol{X}) = 1- F_{t,n-1}\left( u(\boldsymbol{X}) \right),

其中由于 u(X)∼t(n−1)u(\boldsymbol{X}) \sim t(n-1), 因此 Ft,n−1(u(X))F_{t,n-1}(u(\boldsymbol{X})) 是分布函数作用在自身, Ft,n−1(u(X))∼U(0,1)F_{t,n-1}(u(\boldsymbol{X})) \sim U(0,1), 而 1−U(0,1)1-U(0,1) 仍然服从 U(0,1)U(0,1), 因此仍然有:

p(X)=1−Ft,n−1(u(X))∼U(0,1).p(\boldsymbol{X}) = 1- F_{t,n-1}\left( u(\boldsymbol{X}) \right) \sim U(0,1).

  1. 二元线性回归模型，yi＝α+βxi+λzi+ϵ,ϵ∼N(0,σ2)y_i＝\alpha+\beta x_i+\lambda z_i+\epsilon,\quad \epsilon \sim N(0,{\sigma}^2)。（30分）

    （1）求β\beta的极大似然估计，数学期望，方差.

    （2）如果 yy 写成 xx 的一元回归模型，求β\beta最小二乘估计，判断其是否是无偏估计，并比较两种情况下β\beta的方差.

Solution:

(1)

L=∏i=1n12πσ2exp⁡(−(yi−α−βxi−λzi)22σ2)L = \prod_{i=1}^n \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(y_i - \alpha - \beta x_i - \lambda z_i)^2}{2\sigma^2}\right)

ln⁡L=−n2log⁡(2π)−n2log⁡(σ2)−12σ2∑i=1n(yi−α−βxi−λzi)2\ln L = -\frac{n}{2} \log(2\pi) - \frac{n}{2} \log(\sigma^2) - \frac{1}{2\sigma^2} \sum_{i=1}^n (y_i - \alpha - \beta x_i - \lambda z_i)^2

{∂ln⁡L∂α=0→∑i=1n(yi−α−βxi−λzi)=0∂ln⁡L∂β=0→∑i=1nxi(yi−α−βxi−λzi)=0∂ln⁡L∂λ=0→∑i=1nzi(yi−α−βxi−λzi)=0\left\{ \begin{array}{ll} \frac{\partial \ln L}{\partial \alpha} &=0 \rightarrow \sum_{i=1}^n (y_i - \alpha - \beta x_i - \lambda z_i) = 0 \\ \frac{\partial \ln L}{\partial \beta} &=0\rightarrow \sum_{i=1}^n x_i (y_i - \alpha - \beta x_i - \lambda z_i) = 0 \\ \frac{\partial \ln L}{\partial \lambda} &=0\rightarrow \sum_{i=1}^n z_i (y_i - \alpha - \beta x_i - \lambda z_i) = 0 \end{array} \right.

即：

{α^=yˉ−β^xˉ−λ^zˉ,(1)α^⋅nxˉ+β^∑i=1nxi2+λ^∑i=1nxizi=∑i=1nxiyi,(2)α^⋅nzˉ+β^∑i=1nxizi+λ^∑i=1nzi2=∑i=1nyizi,(3)\left\{ \begin{array}{l} \hat{\alpha} = \bar{y} - \hat{\beta}\bar{x} - \hat{\lambda}\bar{z},\quad (1) \\ \hat{\alpha} \cdot n\bar{x} + \hat{\beta}{\sum}_{i=1}^{n} x_{i}^{2} + \hat{\lambda}{\sum}_{i=1}^{n} x_{i}z_{i} ={\sum}_{i=1}^{n}x_{i}y_{i},\quad (2) \\ \hat{\alpha} \cdot n\bar{z} + \hat{\beta}{\sum}_{i=1}^{n} x_{i}z_{i} + \hat{\lambda}{\sum}_{i=1}^{n} z_{i}^{2} = {\sum}_{i=1}^{n} y_{i}z_{i},\quad (3) \end{array} \right.

整理方程（1）(2) 得到：β^lxx+λ^lxz=lxy\hat{\beta}l_{xx} + \hat{\lambda}l_{xz} = l_{xy} , 同理由方程（1）(3) 得到： β^lxz+λ^lzz=lzy\hat{\beta}l_{xz} + \hat{\lambda}l_{zz} = l_{zy} ,于是：

{lxx⋅β^+lxz⋅λ^=lxylxz⋅β^+lzz⋅λ^=lzy\begin{cases} l_{xx} \cdot \hat{\beta} + l_{xz} \cdot \hat{\lambda} = l_{xy} \\ l_{xz} \cdot \hat{\beta} + l_{zz} \cdot \hat{\lambda} = l_{zy} \end{cases}

根据克拉默法则解得：

β^MLE=lxylzz−lxzlzylxxlzz−lxz2\hat{\beta}_{MLE} = \frac{l_{xy}l_{zz} - l_{xz}l_{zy}}{l_{xx}l_{zz} - l_{xz}^2}

代入 α^=yˉ−β^xˉ−λ^zˉ\hat{\alpha} = \bar{y} - \hat{\beta}\bar{x} - \hat{\lambda}\bar{z} 得到 α^\hat{\alpha} 的值。

E(β^MLE)=lzz∑i=1n(xi−xˉ)E(yi−yˉ)−lxz∑i=1n(zi−zˉ)E(yi−yˉ)lxxlzz−lxz2=β(lxxlzz−lxz2)lxxlzz−lxz2=β\begin{aligned} E(\hat{\beta}_{MLE}) &= \frac{l_{zz} \sum_{i=1}^{n} (x_i - \bar{x})E(y_i - \bar{y}) - l_{xz} \sum_{i=1}^{n} (z_i - \bar{z})E(y_i - \bar{y})}{l_{xx}l_{zz} - l_{xz}^2} \\ &= \frac{\beta(l_{xx}l_{zz} - l_{xz}^2)}{l_{xx}l_{zz} - l_{xz}^2} \\ &= \beta \end{aligned}

Var(β^MLE)=lzz2Var(lxy)+lxz2Var(lzy)−2lxzlzzCov(lxy,lzy)(lxxlzz−lxz2)2=lzz2lxxσ2+lxz2lzzσ2−2lxzlzzlxzσ2(lxxlzz−lxz2)2=lzzσ2lxxlzz−lxz2\begin{aligned} \text{Var}(\hat{\beta}_{MLE}) & = \frac{l_{zz}^2 \text{Var}(l_{xy}) + l_{xz}^2 \text{Var}(l_{zy}) - 2l_{xz}l_{zz} \text{Cov}(l_{xy}, l_{zy})}{(l_{xx}l_{zz} - l_{xz}^2)^2} \\ & = \frac{l_{zz}^2 l_{xx} \sigma^2 + l_{xz}^2 l_{zz} \sigma^2 - 2l_{xz}l_{zz}l_{xz} \sigma^2}{(l_{xx}l_{zz} - l_{xz}^2)^2} \\ & = \frac{l_{zz} \sigma^2}{l_{xx}l_{zz} - l_{xz}^2} \end{aligned}

(克拉默法则是一种通过行列式求解线性方程组的方法。对于线性方程组：

{a1x+b1y=c1a2x+b2y=c2\begin{cases} a_1x + b_1y = c_1 \\ a_2x + b_2y = c_2 \end{cases}

其解为：

x=DxD,y=DyDx = \frac{D_x}{D}, \quad y = \frac{D_y}{D}

其中 DD 是系数矩阵的行列式，DxD_x 和 DyD_y 分别是通过将 DD 的第一列和第二列替换为常数项 c1,c2c_1, c_2 得到的行列式。)

(2) 此时：

yi=α+βxi+ϵ,ϵ∼N(0,σ2),S=∑i=1n(Yi−Y^i)2=∑i=1n(Yi−(α+βXi))2y_i = \alpha + \beta x_i + \epsilon, \quad \epsilon \sim N(0, {\sigma}^2), \quad S = \sum_{i=1}^n (Y_i - \hat{Y}_i)^2 = \sum_{i=1}^n (Y_i - (\alpha + \beta X_i))^2

{∂S∂α=−2∑i=1n(Yi−α−βXi)=−2(∑i=1nYi−nα−β∑i=1nXi)=0,α=Yˉ−βXˉ∂S∂β=−2∑i=1n(Yi−α−βXi)Xi=−2(∑i=1nYiXi−α∑i=1nXi−β∑i=1nXi2)=0\left\{ \begin{array}{l} \frac{\partial S}{\partial \alpha} = -2 \sum_{i=1}^n (Y_i - \alpha - \beta X_i) = -2 \left( \sum_{i=1}^n Y_i - n\alpha - \beta \sum_{i=1}^n X_i \right) = 0,\quad \alpha = \bar{Y} - \beta \bar{X} \\ \frac{\partial S}{\partial \beta} = -2 \sum_{i=1}^n (Y_i - \alpha - \beta X_i)X_i = -2 \left( \sum_{i=1}^n Y_i X_i - \alpha \sum_{i=1}^n X_i - \beta \sum_{i=1}^n X_i^2 \right) = 0 \end{array} \right.

将 α=Yˉ−βXˉ\alpha = \bar{Y} - \beta \bar{X} 代入方程，得到：

∑i=1nYiXi−(Yˉ−βXˉ)∑i=1nXi−β∑i=1nXi2=0,β^=∑i=1n(Xi−Xˉ)(Yi−Yˉ)∑i=1n(Xi−Xˉ)2\sum_{i=1}^n Y_i X_i - (\bar{Y} - \beta \bar{X}) \sum_{i=1}^n X_i - \beta \sum_{i=1}^n X_i^2 = 0, \quad \hat{\beta} = \frac{\sum_{i=1}^{n} (X_i - \bar{X})(Y_i - \bar{Y})}{\sum_{i=1}^{n} (X_i - \bar{X})^2}

E(β^)=∑i=1n(Xi−Xˉ)E(Yi−Yˉ)∑i=1n(Xi−Xˉ)2=∑i=1n(Xi−Xˉ)(α+βXi−α−βXˉ)∑i=1n(Xi−Xˉ)2=∑i=1n(Xi−Xˉ)2β∑i=1n(Xi−Xˉ)2=β\begin{aligned} E(\hat{\beta}) &= \frac{\sum_{i=1}^{n} (X_i - \bar{X})E(Y_i - \bar{Y})}{\sum_{i=1}^{n} (X_i - \bar{X})^2} \\ &= \frac{\sum_{i=1}^{n} (X_i - \bar{X})(\alpha + \beta X_i - \alpha - \beta \bar{X})}{\sum_{i=1}^{n} (X_i - \bar{X})^2} \\ &= \frac{\sum_{i=1}^{n} (X_i - \bar{X})^2 \beta}{\sum_{i=1}^{n} (X_i - \bar{X})^2} \\ &= \beta \end{aligned}

故其是无偏估计。

Var(β^)=σ2lxx≤Var(β^MLE)\text{Var}(\hat{\beta}) = \frac{\sigma^2}{l_{xx}} \leq \text{Var}(\hat{\beta}_{MLE})

  1. 白噪声: ϵt∼N(0,σ2){\epsilon}_t \sim N(0,{\sigma}^2),Xt=0.5Xt−1+ϵt−1.1ϵt−1+0.3ϵt−2X_t=0.5X_{t-1}+{\epsilon}_t-1.1{\epsilon}_{t-1}+0.3{\epsilon}_{t-2} （30分）

    （1）化简模型.

    （2）化简模型是否宽平稳？求其自相关系数。

Solution:

(1) 该模型是 ARMA(1,2) 模型, 其简化形式是

(1−0.5B)Xt=(1−1.1B+0.3B2)ϵt,\left( 1-0.5B \right) X_t=\left( 1-1.1B+0.3B^2 \right) \epsilon _t,

其中 BB 是滞后算子. 我们也可以定义滞后多项式

Φ(z)=1−0.5z,Θ(z)=1−1.1z+0.3z2,\Phi \left( z \right) =1-0.5z,\quad \Theta \left( z \right) =1-1.1z+0.3z^2,

此时模型可写作 Φ(B)Xt=Θ(B)ϵt\Phi(B)X_t = \Theta(B) \epsilon_t.
(2) (i) ARMA 模型的宽平稳条件是其 AR 部分是宽平稳的, 即 Φ(z)=0\Phi(z)=0 的根都在单位圆外, 此处其特征根 z0=2z_0=2 显然在单位圆外, 因此模型宽平稳.
(ii) 为求其自相关系数, 我们需求解其传递形式 Xt=∑j=0∞Gjϵt−jX_t = \sum_{j=0}^{\infty} G_j \epsilon_{t-j}, 其中 {Gj}\{G_j\} 是 Green 函数, 且 G0=1G_0=1. 我们可以递推求解, 假设 我们需求解其传递形式 Xt=∑j=0∞Gjϵt−jX_t = \sum_{j=0}^{\infty} G_j \epsilon_{t-j}, 其中 {Gj}\{G_j\} 是 Green 函数, 且 G0=1G_0=1. 我们可以递推求解, 假设:

Xt=(1+G1B+G2B2+G3B3+⋯ )ϵt,X_t=\left( 1+G_1B+G_2B^2+G_3B^3+\cdots \right) \epsilon _t,

又根据 Φ(B)Xt=Θ(B)ϵt\Phi(B)X_t = \Theta(B) \epsilon_t, 我们有:

(1−0.5B)(1+G1B+G2B2+G3B3+⋯ )=1−1.1B+0.3B2.(1-0.5B)\left( 1+G_1B+G_2B^2+G_3B^3+\cdots \right) = 1 - 1.1 B + 0.3 B^2.

将左侧对应打开有:

1+(−0.5+G1)B+(−0.5G1+G2)B2+(−0.5G2+G3)B3+⋯=1−1.1B+0.3B2,1+\left( -0.5+G_1 \right) B+\left( -0.5G_1+G_2 \right) B^2+\left( -0.5G_2+G_3 \right) B^3+\cdots =1-1.1B+0.3B^2,

这说明:

{−0.5+G1=−1.1,−0.5G1+G2=0.3,−0.5Gk+Gk+1=0,k≥2,\begin{cases} -0.5+G_1=-1.1,\\ -0.5G_1+G_2=0.3,\\ -0.5G_k+G_{k+1}=0,\quad k\ge 2,\\ \end{cases}

我们解得:

G1=−0.6,G2=0,Gk=0, k≥3,G_1=-0.6,\quad G_2=0,\quad G_k=0,\,k\ge 3,

因此模型恰化为有限阶 Xt=ϵt−0.6ϵt−1X_t = \epsilon_t - 0.6 \epsilon_{t-1}, 这一点也可以说明模型平稳,我们紧接着计算其自协方差函数 γk\gamma_k, 显然只有 γ0\gamma_0, γ1\gamma_1 非零:

γ0=Var(Xt)=1.36σ2,γ1=E(XtXt+1)=−0.6σ2,γk=0,  k≥2.\gamma_0 = Var(X_t) = 1.36 \sigma^2, \quad \gamma_1 = E(X_t X_{t+1})= -0.6 \sigma^2, \quad \gamma_k =0,\,\, k\ge 2.

因此结论是:

ρ0=1,ρ1=−1534,ρ2=ρ3=⋯=0.\rho_0 = 1,\quad \rho_1 = - \frac{15}{34},\quad \rho_2 = \rho_3 = \cdots = 0.