Teorema de Gauss-Markov

Linear Regression Proof

Uma das propriedades mais interessentes dos estimadores MQO é fornecida pelo Teorema de Gauss-Markov. Neste post discutimos a importância, significado e fornecemos uma demostração passo a passo do Teorema.

Carlos Trucíos https://ctruciosm.github.io
02-28-2021

Introdução

O estimador de mínimos quadrados ordinários (MQO) é um dos métodos de estimação mais utilizados quanto à analise de regressão se refere. Ele é atrativo pela sua simplicidade e boas propriedades.

Sejam \(\{(y_i, x_{i,1}, \ldots, x_{i,k}) \}_{i=1, \ldots, n}\) tais que:

\[\begin{align} \begin{split}\label{eq:1} y_1 &= \beta_0 + \beta_1 x_{1,1} + \cdots + \beta_k x_{1,k} + u_1 \\ \vdots \\ y_n &= \beta_0 + \beta_1 x_{n,1} + \cdots + \beta_k x_{n,k} + u_n \\ \end{split} \end{align}\]

ou equivalentemente

\[ \underbrace{\left[ \begin{array}{c} y_1 \\ \vdots \\ y_n \end{array} \right]}_{Y} = \underbrace{\begin{bmatrix} 1 & x_{1,1} & \cdots & x_{1,k} \\ \vdots & \vdots & \cdots & \vdots \\ 1 & x_{n,1} & \cdots & x_{n,k} \end{bmatrix}}_{X} \times \underbrace{\left[ \begin{array}{c} \beta_0 \\ \vdots \\ \beta_k \end{array} \right]}_{\beta} + \underbrace{\left[ \begin{array}{c} u_1 \\ \vdots \\ u_n \end{array} \right]}_{u}\]

então, o estimador MQO de \(\beta\) é dado por \(\hat{\beta} = (X'X)^{-1}X'Y\).

Sob certas condições, o Teorema de Gauss-Markov nos diz que \(\hat{\beta}\) é o melhor estimador linear não viesado (BLUE em Inglês):

Teorema

Seja \(Y = X \beta + u\) com \(X\) de posto completo, \(\mathbb{E}(u|X) = 0\) e \(\mathbb{V}(u|X) = \sigma^2 I\). Então \(\hat{\beta}\), o estimador MQO de \(\beta\), é o melhor estimador linear não viesado (BLUE) de \(\beta\).

Note que o Teorema requer que:

Essas condições são às vezes conhecidas como as hipóteses de Gauss–Markov. Se alguma das hipóteses de Gauss–Markov não for valida, então \(\hat{\beta}\) não será mais BLUE.

Ou seja Teorema de Gauss-Markov nos diz que se as condições do Teorema forem satisfeitas, não adianta buscar por algum outro estimador linear não viesado, pois \(\hat{\beta}\) será o melhor (de menor variância).

Demostração

Seja \(\tilde{\beta}\) qualquer outro estimador linear não viesado de \(\beta\).

  1. Como \(\tilde{\beta}\) é um estimador linear, ele é da forma \(\tilde{\beta} = A'Y\) (para qualquer matriz \(A\) de dimensão \(n \times k+1\) função de \(X\).).
  2. Como \(\tilde{\beta}\) é não viesado, temos que \(A'X = I\) pois \[\begin{equation} \begin{aligned} \mathbb{E}(\tilde{\beta} | X) & = \mathbb{E}(A'Y | X)\\ & = \mathbb{E}(A' (X\beta + u) | X) \\ & = \mathbb{E}(A'X\beta|X) + \mathbb{E}(u|X) \\ & = \mathbb{E}(A'X\beta|X) \quad \text{pois } \mathbb{E}(u|X) = 0 \\ & = A'X \beta, \end{aligned} \end{equation}\] que é não viesado se e somente se \(A'X = I\)
  3. A variância de \(\tilde{\beta}\) (condicional em \(X\)) é \[\begin{equation} \begin{aligned} \mathbb{V}(\tilde{\beta}|X) & = \mathbb{V}(A'Y|X) \\ & = A'\mathbb{V}(Y|X)A \\ & = A'\mathbb{V}(X \beta + u|X)A \\ & = A'\mathbb{V}(u|X)A \\ & = A'\sigma^2 I A \\ & = \sigma^2 A'A \\ \end{aligned} \end{equation}\]
  4. Definamos \(C = A - X(X'X)^{-1}\), então \(X'C = \underbrace{X'A}_{I}-\underbrace{X'X(X'X)^{-1}}_{I} = 0\)
  5. Sabemos que \(\mathbb{V}(\hat{\beta}|X) = \sigma^2 (X'X)^{-1}\). Então basta provar que \(\mathbb{V}(\tilde{\beta}|X) - \mathbb{V}(\hat{\beta}|X)\) é semi-definida positiva, ou seja \[A'A-(X'X)^{-1} \geq 0.\] Para provar isto vejamos que \[\begin{equation} \begin{aligned} A'A-(X'X)^{-1} & = [C+X(X'X)^{-1}]'[C+X(X'X)^{-1}] -(X'X)^{-1} \\ & = [C'+ (X'X)^{-1} X'] [C+X(X'X)^{-1}] -(X'X)^{-1} \\ & = C'C + \underbrace{C' X}_{0}(X'X)^{-1} + (X'X)^{-1} \underbrace{X'C}_{0} \\ & + (X'X)^{-1} \underbrace{X' X(X'X)^{-1}}_{I} -(X'X)^{-1}\\ & = C'C + (X'X)^{-1} -(X'X)^{-1} \\ & = C'C \geq 0.\\ \end{aligned} \end{equation}\]

Com isso temos provado que \(A'A \geq (X'X)^{-1}\) ou equivalentemente, \[\underbrace{\sigma^2 A'A}_{\mathbb{V}(\tilde{\beta}|X)} \geq \underbrace{\sigma^2 (X'X)^{-1}}_{\mathbb{V}(\hat{\beta}|X)},\] que é o que queremos demostrar.

Conclusão

Sob as hipóteses de Gauss-Markov, temos demostrado que o estimador de MQO, \(\hat{\beta}\), amplamente utilizado em análise de regressão é o melhor estimador linear não viesdado. Isto significa que se as hipóteses de Gauss-Markov são verificadas, não conseguiremos um estimador linear que seja melhor (menor variância) do que \(\hat{\beta}\).

Hansen, Bruce E. 2020. Econometrics. Online version. Wisconsin.
Seber, George AF. 2008. A Matrix Handbook for Statisticians. Vol. 15. John Wiley & Sons.

  1. Um estimador linear é um estimador da forma \(\tilde{\beta} = A'Y\) para uma matriz \(A\) de dimensão \(n \times k+1\) função de \(X\).↩︎

References

Citation

For attribution, please cite this work as

Trucíos (2021, Feb. 28). Carlos Trucíos: Teorema de Gauss-Markov. Retrieved from https://ctruciosm.github.io/posts/2021-02-28-teorema-de-gauss-markov/

BibTeX citation

@misc{trucíos2021teorema,
  author = {Trucíos, Carlos},
  title = {Carlos Trucíos: Teorema de Gauss-Markov},
  url = {https://ctruciosm.github.io/posts/2021-02-28-teorema-de-gauss-markov/},
  year = {2021}
}

Website created using Rstudio and the R packages distill, emo, postcards, Rmarkdown and xaringanExtra.

Content licensed under the CC BY-SA 4.0.