DATA ARE DUMB

class: center, middle, inverse, title-slide

# DATA ARE DUMB
### Encontro estatístico CONRE-3

---

class: class: center, middle

# Faxineiro de dados

---

## Novos tempos?

- Nos últimos anos os tipos de dados mudaram.
- Coisas muito importantes no mercado hoje em dia:

---

## Deep Learning

- Popularidade recente da área de deep learning.

- Promete fazer muitas coisas.

- Tem um linguajar diferente do que estamos acostumados.

---

## Problemas

- Muita, muita gente usando.

- Mercado está pedindo. Só se fala nisso.

- Não aprendemos nada disso na faculdade

- O que estudamos é ultrapassado?

---
class:inverse

## Não entre em pânico!

---
class: center, middle, inverse

# Teoria

---

# Judea Pearl

---

# Três estruturas básicas

### Mediadores

A -> B -> C

### Confundidores / garfos

A <- B -> C

### Colisores

A -> B <- C

---

# Importância em regressão - mediador

<div id="htmlwidget-9ba34fc91afe3a97796e" style="width:200px;height:150px;" class="grViz html-widget"></div>
<script type="application/json" data-for="htmlwidget-9ba34fc91afe3a97796e">{"x":{"diagram":"\ndigraph lr {\n  # a \"graph\" statement\n  rankdir=LR\n  node [shape = circle, fixedsize = true, width = 0.9]\n  X1;X2;Y;\n\n  # several \"edge\" statements\n  X1->X2;X2->Y\n}\n","config":{"engine":"dot","options":null}},"evals":[],"jsHooks":[]}</script>

```r
n <- 1000
x1 <- rnorm(n)
x2 <- 1 + x1 + rnorm(n)
y <- 1 + x2 + rnorm(n)

modelo <- lm(y ~ x1 + x2)
coef(modelo)
## (Intercept)          x1          x2 
##  1.08872056  0.01828541  0.96271373
```

```r
modelo <- lm(y ~ x2)
coef(modelo)
## (Intercept)          x2 
##   1.0798605   0.9716253
```

---

# Importância em regressão - confundidor

<div id="htmlwidget-74be19368bfdbc8f3b3b" style="width:200px;height:150px;" class="grViz html-widget"></div>
<script type="application/json" data-for="htmlwidget-74be19368bfdbc8f3b3b">{"x":{"diagram":"\ndigraph lr {\n  # a \"graph\" statement\n  rankdir=LR\n  node [shape = circle, fixedsize = true, width = 0.9]\n  X1;X2;Y;\n\n  # several \"edge\" statements\n  X1->X2;X1->Y;X2->Y\n}\n","config":{"engine":"dot","options":null}},"evals":[],"jsHooks":[]}</script>

```r
n <- 1000
x1 <- rnorm(n)
x2 <- 1 + 2 * x1 + rnorm(n)
y <- 1 + x1 + x2 + rnorm(n)

modelo <- lm(y ~ x1)
coef(modelo)
## (Intercept)          x1 
##    1.915388    2.979533
```

```r
modelo <- lm(y ~ x1 + x2)
coef(modelo)
## (Intercept)          x1          x2 
##   0.9335670   0.9577917   1.0250971
```

---

# Importância em regressão - colisor

<div id="htmlwidget-b106454fae3921d69518" style="width:200px;height:150px;" class="grViz html-widget"></div>
<script type="application/json" data-for="htmlwidget-b106454fae3921d69518">{"x":{"diagram":"\ndigraph lr {\n  # a \"graph\" statement\n  rankdir=LR\n  node [shape = circle, fixedsize = true, width = 0.9]\n  X2;Y;\n\n  node [shape = circle, fixedsize = true, width = 0.9, color=red]\n  X1\n  \n  # several \"edge\" statements\n  Y->X1;X2->X1\n}\n","config":{"engine":"dot","options":null}},"evals":[],"jsHooks":[]}</script>

```r
x2 <- rnorm(n)
y <- rnorm(n)
x1 <- 1 + 2 * x2 + 3 * y + rnorm(n)

lm(y[x1 > 1] ~ x2[x1 > 1]) %>% 
  summary() %>% 
  broom::tidy()
## # A tibble: 2 x 5
##   term        estimate std.error statistic  p.value
##   <chr>          <dbl>     <dbl>     <dbl>    <dbl>
## 1 (Intercept)    0.809    0.0337      24.0 4.25e-85
## 2 x2[x1 > 1]    -0.366    0.0322     -11.4 9.65e-27
```

---

# Importância em regressão - colisor

```r
lm(y ~ x2) %>% 
  summary() %>% 
  broom::tidy()
## # A tibble: 2 x 5
##   term        estimate std.error statistic p.value
##   <chr>          <dbl>     <dbl>     <dbl>   <dbl>
## 1 (Intercept)   0.0213    0.0312     0.685   0.494
## 2 x2           -0.0210    0.0304    -0.691   0.490
```

Viés de seleção

---

# Wrap-up

### Essas coisas não são ignoradas por estatísticos

### Não é possível verificar boa parte desses problemas nos dados

### Fazer diagramas causais ajuda a entender o problema

#### Pearl argumenta que não é só útil como necessário em problemas mais complexos

---
class: inverse, middle

# Paradoxos

---

# Monty Hall

---

# Colisor!

<div id="htmlwidget-caa8e512ba1e102370cd" style="width:500px;height:550px;" class="grViz html-widget"></div>
<script type="application/json" data-for="htmlwidget-caa8e512ba1e102370cd">{"x":{"diagram":"\ndigraph lr {\n  # a \"graph\" statement\n  rankdir=LR\n  node [shape = circle, fixedsize = true, width = 0.9]\n  Escolha1;Carro;\n\n  node [shape = circle, fixedsize = true, width = 0.9, color=red]\n  Apres\n  \n  # several \"edge\" statements\n  Escolha1->Apres;Carro->Apres\n}\n","config":{"engine":"dot","options":null}},"evals":[],"jsHooks":[]}</script>

---

# Paradoxo de Berkson

---

# Colisor!

<div id="htmlwidget-b0937144393aaa5df4bc" style="width:500px;height:550px;" class="grViz html-widget"></div>
<script type="application/json" data-for="htmlwidget-b0937144393aaa5df4bc">{"x":{"diagram":"\ndigraph lr {\n  # a \"graph\" statement\n  rankdir=LR\n  node [shape = circle, fixedsize = true, width = 0.9]\n  Doenca1;Doenca2;\n\n  node [shape = circle, fixedsize = true, width = 0.9, color=red]\n  Hospital\n  \n  # several \"edge\" statements\n  Doenca1->Hospital;Doenca2->Hospital\n}\n","config":{"engine":"dot","options":null}},"evals":[],"jsHooks":[]}</script>

---

# Paradoxo de Simpson

---

# Paradoxo de Simpson

---

# Confundimento!

<div id="htmlwidget-407b95aaa4cbfa07c882" style="width:500px;height:300px;" class="grViz html-widget"></div>
<script type="application/json" data-for="htmlwidget-407b95aaa4cbfa07c882">{"x":{"diagram":"\ndigraph lr {\n  # a \"graph\" statement\n  rankdir=LR\n  node [shape = circle, fixedsize = true, width = 0.9]\n  IdadeSex;Tratamento;\n\n  node [shape = circle, fixedsize = true, width = 0.9, color=red]\n  Melhorar\n  \n  # several \"edge\" statements\n  Tratamento->Melhorar;IdadeSex->Tratamento;IdadeSex->Melhorar\n}\n","config":{"engine":"dot","options":null}},"evals":[],"jsHooks":[]}</script>

Nesse caso, temos de controlar por Idade e sexo

---

# Outro exemplo!

---

# Confundimento!

<div id="htmlwidget-4e6be6569162f2458e33" style="width:500px;height:300px;" class="grViz html-widget"></div>
<script type="application/json" data-for="htmlwidget-4e6be6569162f2458e33">{"x":{"diagram":"\ndigraph lr {\n  # a \"graph\" statement\n  rankdir=LR\n  node [shape = circle, fixedsize = true, width = 0.9]\n  Pressao;Tratamento;\n\n  node [shape = circle, fixedsize = true, width = 0.9, color=red]\n  Melhorar\n  \n  # several \"edge\" statements\n  Tratamento->Melhorar;Tratamento->Pressao;Pressao->Melhorar\n}\n","config":{"engine":"dot","options":null}},"evals":[],"jsHooks":[]}</script>

Nesse caso, não é para controlar por pressão

---

# Wrap-up

### Diagramas causais resolvem paradoxos estatísticos facilmente

### Nem tudo está nos dados

### Reflexão: é possível implementar causalidade em deep learning?

---

# Me stalkeia

- CONRE-3: [jtrecenti@conre3.org.br](mailto:jtrecenti@conre3.org.br)
- Curso-R: [jtrecenti@curso-r.com](mailto:jtrecenti@curso-r.com)
- ABJ: [jtrecenti@abj.org.br](mailto:jtrecenti@abj.org.br)

## Páginas:

- https://curso-r.com
- https://abj.org.br
- https://github.com/jtrecenti

Apresentação: https://jtrecenti.github.io/slides/encontro-conre3/