Artigo.Rmd

---
title: "Erros heteroscedástico-consistentes"
author:
- Luiz Fernando Palin Droubi^[SPU/SC, luiz.droubi@planejamento.gov.br]
- Norberto Hochheim^[UFSC, hochheim@gmail.com]
- Willian Zonato^[SPU/SC, willian.zonato@planejamento.gov.br]
date: "`r format(Sys.Date(), '%d/%m/%Y')`"
output:
  pdf_document:
    includes:
      in_header: preamble.tex
    keep_tex: yes
    latex_engine: xelatex
    number_sections: yes
    toc: no
  word_document: default
  html_document:
    fig_caption: yes
    keep_md: yes
classoption: a4paper, 12pt
documentclass: article
geometry: 
- left=3cm,right=2cm,top=1.9cm,bottom=1.5cm
- headheight=75pt
- includeheadfoot
link-citations: yes
linkcolor: red
urlcolor: magenta
citecolor: green
csl: ABNT_UFPR_2011-Mendeley.csl
subtitle: Teoria e simulações
bibliography: bibliography.bib
---

```{r setup, include=FALSE}
knitr::opts_chunk$set(echo = FALSE, cache = FALSE, warning = FALSE, 
                      message = FALSE, dev = "png", fig.path = "images/",
                      fig.align='center', fig.pos = 'H', fig.asp = 1, 
                      out.width = '60%')
library(appraiseR)
library(sandwich)
library(lmtest)
library(mosaic)
library(car)
source("predict.lm.R")
```

# INTRODUÇÃO

A homoscedasticidade é uma  das hipóteses que devem ser necessariamente verificadas na inferência clássica. A ausência da homoscedasticidade, ou seja, a heteroscedasticidade, no entanto, não invalida completamente um modelo de regressão linear, pois a heteroscedasticidade se relaciona apenas aos erros do modelo, o que afeta o cômputo dos intervalos de confiança das previsões e dos coeficientes do modelo, mas não invalida os valores centrais dos mesmos, ou seja, mesmo que um modelo contenha erros heteroscedásticos, este modelo pode ser utilizado para fazer previsões, desde que não se esteja interessado nos seus intervalos de confiança.
Na Engenharia de Avaliações, contudo, frequentemente ou quase sempre, existe interesse em avaliar o grau de precisão do modelo, ou mesmo o grau de fundamentação de um laudo. Dado que estes enquadramentos normativos são feitos com a utilização dos intervalos de confiança das estimativas, ou com os p-valores dos testes de hipótese realizado pelos regressores, a utilização de modelos com erros heteroscedásticos nesta área torna-se complicada, o que não significa que isto seja impossível.
Infelizmente a NBR14.653-2 não aborda este assunto, mas acredita-se que, mesmo assim, é possível se utilizar de modelos heteroscedásticos e ainda estar de acordo com a norma. Demonstrar como isso pode ser feito é o objetivo deste artigo.

# DESENVOLVIMENTO E FUNDAMENTAÇÃO

## A Hipótese de homoscedasticidade

Segundo Long [-@Long, 5], na regressão linear, a variância do estimador MQO $\hat{\beta}$ é:

$$\mathrm{var}(\hat{\beta})=(X'X)^{-1}X' \Omega X(X'X)^{-1}$$

A adoção da hipótese da homoscedasticidade na inferência clássica, em conjunto com a hipótese da independência dos erros, pode ser resumida na equação abaixo:

$$\Omega_{MQO}=\sigma^2I$$
onde $\sigma^2$ é a variância dos erros do modelo, suposta constante, e $I$ é a matriz identidade $n \text{x}n$, onde $n$ é o número de dados do modelo. A matriz $\Omega$ assim obtida, pode-se demonstrar, simplifica demasiado o cálculo da matriz de variância-covariância dos coeficientes de estimação, da maneira a seguir:

$$\mathrm{var} (\hat{\beta})=\sigma^2(X'X)^{-1}$$

## Detecção da heteroscedasticidade

Diversos testes foram desenvolvidos visando a detecção da heteroscedasticidade, dentro os quais citamos o teste de Goldfeld-Quandt [-@GQ], o teste de Park [-@Park], o teste de Glejser [-@glejser], o teste de Breusch-Pagan [-@BP] e o teste de White [-@white1980].

Deve-se salientar que nenhum dos testes mencionados pode ser considerado melhor do que o outro, porque, conforme será visto, cada um deles testa uma hipótese em particular para a estrutura do erro. O teste de Breusch-Pagan, por exemplo, assume que a estrutura da variância do termo de erro seja linear, sendo muito eficiente para detectar este tipo de heteroscedasticidade. Se, no entanto, se estiver lidando com uma estrutura não-linear do termo de erro, este teste não será eficaz, sendo o teste de White melhor para estes casos.

### Teste de Goldfeld-Quandt

O teste de Goldfeld-Quandt [-@GQ] é aplicável a grandes amostras e consiste em omitir algumas amostras do modelo e comparar a estrutura da variância do termo de erro em diferentes subgrupos. 

### Teste de Park

O teste de Park [-@Park] assume que a variância do termo de erro é proporcional a alguma potência da variável independente ($\sigma_{u_i}^2 = \sigma^2X_i^\beta e^v$). Desta maneira, o teste de Park consiste em estimar os resíduos da equação de regressão e então fazer uso de uma regressão destes resíduos em relação à variável dependente, da seguinte maneira:

$$ln(u_i^2) = ln(\sigma^2) + \beta ln(X_i) + v_i$$
Se o coeficiente $\beta$ for significante, é indicativo da presença de heteroscedasticidade.

### Teste de Glejser

O teste de Glejser [-@glejser; *apud* @nigeria] consiste em testar se os valores absolutos dos resíduos ($|\hat{u_i}|$) da regressão original tem correlação com alguma variável independente do modelo ($X_i$), conforme formas abaixo:

$$|\hat{u_i}| = \beta_0 + \beta_1 X_i + v_i$$
$$|\hat{u_i}| = \beta_0 + \beta_1 \sqrt{X_i} + v_i$$
$$|\hat{u_i}| = \beta_0 + \beta_1 \frac{1}{X_i} + v_i$$
$$|\hat{u_i}| = \beta_0 + \beta_1 \frac{1}{\sqrt{X_i}} + v_i$$
$$|\hat{u_i}| = \sqrt{\beta_0 + \beta_1 X_i} + v_i$$
$$|\hat{u_i}| = \sqrt{\beta_0 + \beta_1 X_i^2} + v_i$$

### Teste de Breusch-Pagan

O teste de Breusch-Pagan [-@BP] consiste em assumir que a estrutura da variância do termo de erro seja linear em função das variáveis independentes do modelo. Assim, o método consiste em estimar a variância do erro à partir do quadrado dos resíduos da regressão linear e efetuar então uma regressão auxiliar deste termo em função dos regressores do mesmo modelo. Calcula-se o valor do coeficiente de determinação deste modelo auxiliar e aplica-se o teste do $\chi^2$ para obter a sua significância. @koenker1981 propõe um ajuste ao teste original, fazendo uso dos resíduos studantizados.

### Teste de White

O teste de White [-@white1980] consiste numa aplicação do teste de Breusch-Pagan, porém com a adição dos termos quadráticos e de interação do modelo original. Obviamente, o teste de White necessita de um número maios de graus de liberdade no modelo para ter eficácio, haja vista que a regressão auxiliar necessitará de diversos graus de liberdade.

## Alternativas para contornar a heteroscedasticidade

Ocorre que apenas raramente os dados do mundo real podem ser considerados homoscedásticos e independentes, o que faz com que procedimentos especiais tenham que ser tomados para a utilização do estimador MQO. A tentativa de se contornar a heteroscedasticidade pode ser feita de diversas formas, algumas mais trabalhosas, outras mais complexas, outras causando maior distorção ao modelo. 

## Transformação da variável dependente

Na Engenharia de Avaliações, a primeira e mais usual forma de se contornar a heteroscedasticidade é através da aplicação de transformações à variável dependente. No entanto, esta não é a única alternativa e a transformação dos dados pode causar distorções significativas, o que pode ser um problema, especialmente considerando o problema da retransformação das variáveis transformadas.

Segundo @matloff2017, se $\varphi(x)$ é uma função convexa, então a desigualdade de Jensen se exprime na seguinte desigualdade:

$$\varphi \left(\mathbb{E} [X]\right)\leq \mathbb{E} \left[\varphi (X)\right]$$

## Outros estimadores

Outra forma de contornar a heteroscedasticidade é através da utilização de outros estimadores, como o estimador dos mínimos quadrados ponderados. Este método consiste na adoção de um vetor de pesos conveninente escolhido e aplicado a cada uma das observações, de maneira que se elimine a heteroscedasticidade do modelo. O inconveniente deste método está na determinação do vetor de pesos a ser utilizado, o que não é trivial.

## Estimação heteroscedástico-consistente da matriz de variância-covariância

Uma maneira mais interessante de se detectar a heteroscedasticidade é através da estimação da matriz de variância-covariância dos coeficientes heteroscedástico-consistente, desfazendo-se assim, da hipótese da homoscedasticidade.

Existem diversas maneiras de se estimar a matriz heteroscedástico-consistente, sendo que este método foi originalmente concebido por White [-@white1980; *apud* @Long, p.6], da seguinte forma:

$$\text{HC0}=(X'X)^{-1}X' \hat{\Omega} X(X'X)^{-1} = (X'X)^{-1}X' diag[e_i^2] X(X'X)^{-1}$$
Onde $diag[e_i^2]$ é a matriz diagonal em que os elementos da diagonal são compostos pelo vetor do erros amostrais elevado ao quadrado.

Posteriormente diversas pequenas modificações foram propostas ao método, como a correção dos resíduos pelos graus de liberdade ($n/(n-k)$) e outras.

# ESTUDO DE CASO

Para este estudo de caso foi utilizado software \proglang{R} `r getRversion()`. Os funções utilizadas para a execução dos testes são do pacote \pkg{lmtest} [@lmtest]. Os gráficos foram confeccionados com o auxílio do pacote \pkg{mosaic} [@mosaic].

## Exemplo 1

### Criação dos dados

Neste primeiro exemplo foram gerados randomicamente para a variável dependente ($Y$). Para a variável independente ($X$), foram criados 100 dados em sequência de 1 a 100. Para a varíavel dependente, com a utilização da função \code{rnorm}, foram criados dados de distribuição normal com média igual a média do vetor da variável independente ($\bar{Y} = \bar{X}$) e desvio-padrão variável em função de $X$, da seguinte maneira:

$$\mathrm{desvio}(Y) = 0,4 \cdot X$$
Ou seja, foi criada, randômicamente, um tipo linear de heteroscedasticidade. Os gráfico dos dados assim criados pode ser vistos na figura \ref{fig:hetero}.

```{r hetero, echo = FALSE, fig.height=5, fig.cap="Forma linear de heteroscedasticidade."}
set.seed(123)
X <- 1:100
Y <- rnorm(n=100, mean = X, sd=0.4*X)
fit <- lm(Y~X)
plot(Y~X)
abline(coef(fit), col="blue")
curve(x + 2*0.4*x, lty=2, add = TRUE)
curve(x - 2*0.4*x, lty=2, add = TRUE)
```

#### Testes

Os resultados das estatísticas dos testes e suas significâncias estão resumidos na tabela 1. Pode-se verificar que, para este caso, todos os testes foram eficazes em não rejeitar a hipótese nula da homoscedasticidade, ou seja, todos os testes detectaram a presença da heteroscedasticidade.

#### Park

```{r}
res2 <- residuals(fit)^2
parklm <- lm(log(res2) ~ log(X))
park <- summary(parklm)
```

Apesar da forma linear da heteroscedasticidade presente, como o valor da estatística do teste t da variável $\ln(X)$ resultou alto (`r formatC(park$coefficients["log(X)",3], decimal.mark = ",", digits = 3)`) e significante ($\text{p-valor} =$ `r formatC(park$coefficients["log(X)",4], digits = 4)`), conclui-se que não se pode descartar a hipótese da heteroscedasticidade, ou seja, o teste de Park funcionou, mesmo na presença de uma forma de heteroscedasticidade diferente da pressuposta.


#### Glejser


```{r}
glejser <- summary(lm(abs(residuals(fit)) ~ X))
```

Foi utilizada a primeira forma (linear) do teste de Glejser. A significância do teste foi de `r formatC(glejser$coefficients["X", 4], digits = 3)`. Conclui-se que o teste funciona. Deve-se atentar, porém, que a forma de heteroscedasticidade, neste caso, era previamente conhecida, o que possibilitou a aplicação da forma "correta" do teste, o que não ocorre na prática.

#### Breusch-Pagan

A forma original do teste de BP foi aplicada, através da função \code{bptest}:

```{r}
bp <- bptest(fit, studentize = FALSE)
```

O teste de BP, neste caso, não logrou a rejeição da hipótese nula, ou seja, a da homoscedasticidade. Desta maneira, pode-se afirmar que o teste funcionou a contento.

#### Breusch-Pagan studantizado (Koenker)

O mesmo ocorre para o teste de BP com a utilização dos resíduos studantizados:

```{r}
koenker <- bptest(fit)
```

#### Goldfeld-Quandt

O teste de GQ neste caso foi eficaz em detectar a modificação na variância nas partições testadas.

```{r}
gq <- gqtest(fit, fraction = .25)
```

#### White

Por fim, o teste de White mostrou-se adequado para a detecção da forma linear da heteroscedasticidade. No entanto, deve-se salientar, que para isto foi inutilmente utilizado um grau de liberdade a mais do que o teste de Breusch-Pagan, o que pode fazer a diferença no caso de pequenas amostras.

```{r}
white <- bptest(fit, ~X + I(X^2))
```

### Quadro-Resumo

\centerline{Tabela 1: Estatísticas e p-valores para os dados do Exemplo 1.}  

|Teste   |Estatística                                                                   |Significância                                               |
|:-------|-----------------------------------------------------------------------------:|-----------------------------------------------------------:|
| Park   | `r formatC(park$coefficients["log(X)",3], decimal.mark = ",", digits = 3)`   |`r formatC(park$coefficients["log(X)",4], digits = 2)`      |
| Glejser| `r formatC(glejser$coefficients["X",3], decimal.mark = ",", digits = 3)`     |`r formatC(glejser$coefficients["X",4], digits = 2)`        |
| GQ     | `r formatC(gq$statistic, decimal.mark = ",", digits = 4)`                    |`r formatC(gq$p.value, decimal.mark = ",", digits = 2)`     |
| BP     | `r formatC(bp$statistic, decimal.mark = ",", digits = 4)`                    |`r formatC(bp$p.value, decimal.mark = ",", digits = 2)`     |
| Koenker| `r formatC(koenker$statistic, decimal.mark = ",", digits = 4)`               |`r formatC(koenker$p.value, decimal.mark = ",", digits = 3)`|
| White  | `r formatC(white$statistic, decimal.mark = ",", digits = 4)`                 |`r formatC(white$p.value, decimal.mark = ",", digits = 3)`| 

## Exemplo 2

### Criação dos dados

Neste exemplo foram gerados randomicamente dados de distribuição normal para a variável dependente ($Y$), com a utilização da função \code{rnorm}, com média igual a média do vetor da variável independente ($\bar{Y} = \bar{X}$) e desvio-padrão variável em função de $X$, da seguinte maneira:

$$\mathrm{desvio}(Y) = 0,001 \cdot X^2$$

Ou seja, foi criada, randômicamente, um tipo suavemente não-linear de heteroscedasticidade. Os gráfico dos dados assim criados pode ser vistos na figura \ref{fig:hetero2}.

```{r hetero2, fig.height=5, fig.cap="Forma não-linear de heteroscedasticidade."}
set.seed(123)
X <- 1:100
Y <- rnorm(n=100, mean = X, sd=0.001*X^2)
fit2 <- lm(Y~X)
plot(Y~X)
abline(coef(fit2), col="blue")
curve(x + 2*0.001*x^2, lty = 2, add= TRUE)
curve(x - 2*0.001*x^2, lty = 2, add= TRUE)
```

### Testes

Os resultados das estatísticas dos testes e suas significâncias estão resumidos na tabela 2. Pode-se verificar que, para este caso, todos os testes foram eficazes em não rejeitar a hipótese nula da homoscedasticidade, ou seja, todos os testes detectaram a presença da heteroscedasticidade.

#### Park

```{r}
res2 <- residuals(fit2)^2
parklm <- lm(log(res2) ~ log(X))
park <- summary(parklm)
```

Apesar da forma linear da heteroscedasticidade presente, como o valor da estatística do teste t da variável $\ln(X)$ resultou alto (`r formatC(park$coefficients["log(X)",3], decimal.mark = ",", digits = 3)`) e significante ($\text{p-valor} =$ `r formatC(park$coefficients["log(X)",4], digits = 4)`), conclui-se que não se pode descartar a hipótese da heteroscedasticidade, ou seja, o teste de Park funcionou, mesmo na presença de uma forma de heteroscedasticidade diferente da pressuposta.


#### Glejser


```{r}
glejser <- summary(lm(abs(residuals(fit)) ~ X))
```

Foi utilizada a primeira forma (linear) do teste de Glejser. A significância do teste foi de `r formatC(glejser$coefficients["X", 4], digits = 3)`. Conclui-se que o teste funciona. Deve-se atentar, porém, que a forma de heteroscedasticidade, neste caso, era previamente conhecida, o que possibilitou a aplicação da forma "correta" do teste, o que não ocorre na prática.

#### Breusch-Pagan

O teste de BP, apesar de assumir a forma linear de heteroscedasticidade, logrou a rejeição da hipótese da homoscedasticidade. Isto ocorreu, talvez, pela não-linearidade da heteroscedasticidade, neste caso, ser singela.

```{r}
bp <- bptest(fit2, studentize = FALSE)
```


#### Breusch-Pagan studantizado (Koenker)

O mesmo ocorre para ao teste de BP studantizado.

```{r}
koenker <- bptest(fit2)
```

#### Goldfeld-Quandt

O teste de Goldfeld-Quandt foi eficaz também neste caso, detectando a presença da heteroscedasticidade.

```{r}
gq <- gqtest(fit2, fraction = .33)
```

#### White

Por fim, o teste de White, concebido para encontrar as formas não-lineares de heteroscedasticidade, também foi eficaz neste caso, rejeitando a hipótese nula da homoscedasticidade.

```{r}
white <- bptest(fit2, ~X + I(X^2))
```
### Quadro-Resumo

\centerline{Tabela 2: Estatísticas e p-valores para os dados do Exemplo 2.}

|Teste   |Estatística                                                                   |Significância                                               |
|:-------|-----------------------------------------------------------------------------:|-----------------------------------------------------------:|
| Park   | `r formatC(park$coefficients["log(X)",3], decimal.mark = ",", digits = 3)`   |`r formatC(park$coefficients["log(X)",4], digits = 2)`      |
| Glejser| `r formatC(glejser$coefficients["X",3], decimal.mark = ",", digits = 3)`     |`r formatC(glejser$coefficients["X",4], digits = 2)`        |
| GQ     | `r formatC(gq$statistic, decimal.mark = ",", digits = 4)`                    |`r formatC(gq$p.value, decimal.mark = ",", digits = 2)`     |
| BP     | `r formatC(bp$statistic, decimal.mark = ",", digits = 4)`                    |`r formatC(bp$p.value, decimal.mark = ",", digits = 2)`     |
| Koenker| `r formatC(koenker$statistic, decimal.mark = ",", digits = 4)`               |`r formatC(koenker$p.value, decimal.mark = ",", digits = 3)`|
| White  | `r formatC(white$statistic, decimal.mark = ",", digits = 4)`                 |`r formatC(white$p.value, decimal.mark = ",", digits = 3)`| 

## Exemplo 3

### Criação dos dados

Os dados foram criados da mesma maneira do exemplo anterior, porém com uma nova função para a variância, da seguinte maneira:

$$\mathrm{desvio}(Y) = 0,5 \cdot (X-1)^2$$

Ou seja, foi criada, randômicamente, um tipo de heteroscedasticidade não-linear mais drástico, onde a variância é menor no centro da amostra, aumentando nas extremidades. Os gráfico dos dados assim criados pode ser vistos na figura \ref{fig:hetero3}.

```{r hetero3, fig.height=5, fig.cap="Forma drasticamente não-linear de heteroscedasticidade."}
set.seed(123)
X <- seq(0.01, 2, 0.01)
Y <- rnorm(n=200, mean = X, sd=0.5*(X-1)^2)
fit3 <- lm(Y~X)
plot(Y~X)
abline(coef(fit3), col="blue")
curve(x + 2*0.5*(x-1)^2, lty = 2, add= TRUE)
curve(x - 2*0.5*(x-1)^2, lty = 2, add= TRUE)
```

### Testes

#### Park

```{r}
res2 <- residuals(fit3)^2
parklm <- lm(log(res2) ~ log(X))
park <- summary(parklm)
```

Como o valor da estatística do teste t da variável $\ln(X)$ resultou alto (`r formatC(park$coefficients["log(X)",3], decimal.mark = ",", digits = 3)`) e significante ($\text{p-valor} =$ `r formatC(park$coefficients["log(X)",4], digits = 4)`), conclui-se que não se pode descartar a hipótese da heteroscedasticidade.


#### Glejser

Neste exemplo, o teste de Glejser detecta a heteroscedasticidade, mas apenas na equação da forma quadrática, falhando em detectá-la na função de teste linear.

```{r}
glejser1 <- summary(lm(abs(residuals(fit3)) ~ X))
glejser2 <- summary(lm(abs(residuals(fit3)) ~ I(X^2)))
```

Quando utilizada a forma quadrática do teste de Glejser. A significância do teste foi de `r formatC(glejser2$coefficients["I(X^2)", 4], digits = 3)`.

#### Breusch-Pagan

Na ocorrência da heteroscedasticidade não-linear extrema deste caso, o teste de BP não logra a rejeição da hipótese nula, ou seja, a da homoscedasticidade.

```{r}
bp <- bptest(fit3, studentize = FALSE)
```


#### Breusch-Pagan studantizado (Koenker)

Também o teste de BP studantizado falha neste caso.

```{r}
koenker <- bptest(fit3)
```

#### Goldfeld-Quandt

Neste caso, o teste de Goldfeld=Quandt não logrou a rejeição da hipótese nula, ou seja, a da homoscedasticidade, apesar de ser sabido que há heteroscedasticidade no modelo. Ou seja, o teste falha em detectar a heteroscedasticidade pela própria característica do mesmo, que divide em a amostra em duas partições, excluindo-se uma fração dos dados centrais (aqui 25%) e compara suas variâncias. Como no presente caso a variância muda igualmente em ambas as extremidades da amostra, o teste não a detecta.

```{r}
gq <- gqtest(fit3, fraction = .25)
```

#### White

Por fim, o teste de White mostrou-se adequado para a detecção da forma de heteroscedasticidade drasticamente não-linear, como era de se esperar.

```{r}
white <- bptest(fit3, ~X + I(X^2))
```

### Quadro-Resumo

\centerline{Tabela 3: Estatísticas e p-valores para os dados do Exemplo 3.}

|Teste   |Estatística                                                                   |Significância                                               |
|:-------|-----------------------------------------------------------------------------:|-----------------------------------------------------------:|
| Park   | `r formatC(park$coefficients["log(X)",3], decimal.mark = ",", digits = 3)`   |`r formatC(park$coefficients["log(X)",4], digits = 2)`      |
| Glejser -- forma linear| `r formatC(glejser$coefficients["X",3], decimal.mark = ",", digits = 3)`     |`r formatC(glejser$coefficients["X",4], digits = 2)`        |
| Glejser -- forma quadrática| `r formatC(glejser2$coefficients["I(X^2)",3], decimal.mark = ",", digits = 3)`     |`r formatC(glejser$coefficients["X",4], digits = 2)`|
| GQ     | `r formatC(gq$statistic, decimal.mark = ",", digits = 4)`                    |`r formatC(gq$p.value, decimal.mark = ",", digits = 2)`     |
| BP     | `r formatC(bp$statistic, decimal.mark = ",", digits = 4)`                    |`r formatC(bp$p.value, decimal.mark = ",", digits = 2)`     |
| Koenker| `r formatC(koenker$statistic, decimal.mark = ",", digits = 4)`               |`r formatC(koenker$p.value, decimal.mark = ",", digits = 3)`|
| White  | `r formatC(white$statistic, decimal.mark = ",", digits = 4)`                 |`r formatC(white$p.value, decimal.mark = ",", digits = 3)`| 

# CONCLUSÃO

# REFERÊNCIAS