Agenda

• O que são redes neurais profundas e como elas se relacionam com o que já sabemos ?

• Que programas podemos usar para trainar esses modelos e como eles se relacionam?

(Spoiler: torch e keras/tensorflow)

• Como ajustar modelos de deep learning algumas situações específicas?

O que preciso saber?

• Regressão linear
• Regressão logística
• R + Pipe!

%>% %>% %>% %>% %>% %>% %>% %>% %>% %>% %>% %>%

Referências

Por que é importante?

• Muito hype em torno do tema.

• Mercado de trabalho exige cada vez mais.

• Uma parte considerável dos avanços na estatística atuais ocorrem no contexto de deep learning.

Por que profundo?

• Nós usamos uma composição de operações não lineares, chamadas camadas, para aprender uma representação do que estamos estudando
• O número de camadas é o que dá a "profundidade"
• Hoje em dia temos modelos com centenas de camadas

Nomes alternativos

• Aprendizado de representação em camadas
• Aprendizado de representação em camadas

Modelos lineares generalizados

• Regressão linear: rede neural com uma camada, sem ativação
• Regressão logística: rede neural com uma camada, com ativação sigmoide (inversa da função logística)

Regressão logística

Regressão logística

Função deviance: equivale à verossimilhança

$$D(y,\hat\mu(x)) = \sum_{i=1}^n 2\left[y_i\log\frac{y_i}{\hat\mu_i(x_i)} + (1-y_i)\log\left(\frac{1-y_i}{1-\hat\mu_i(x_i)}\right)\right]$$

$$= 2 D_{KL}\left(y||\hat\mu(x)\right),$$

onde $D_{KL}(p||q) = \sum_i p_i\log\frac{p_i}{q_i}$ é a divergência de Kullback-Leibler.

Regressão logística

Ajuste do modelo:

Método de Fisher-Scoring (baseado no Newton-Raphson).

$$\boldsymbol\beta^{(m+1)}=\boldsymbol\beta^{(m)} + \{\mathcal I_{\beta\beta}^{-1} \}^{(m)}\mathbf U_\beta^{(m)}$$ Implementação:

Em MLG, equivale a um problema de mínimos quadrados ponderados iterados.

$$\boldsymbol\beta^{(m+1)} = (\mathbf X^{\top} \mathbf W^{(m)} \mathbf X)^{-1}\mathbf X^{\top} \mathbf W^{(m)}\mathbf z^{(m)},$$ $$\mathbf z = \mathbf X \boldsymbol\beta + \mathbf W^{-1/2}\mathbf V^{-1/2}(\mathbf y -\boldsymbol\mu)$$

Rede neural 1 camada

• Linear transformation of $x$, add bias and add some nonlinear activation.

$$f(x) = \sigma(wx + b)$$

Rede neural 1 camada

Função de perda:

$$D_{KL}(p(x)||q(x))$$

Rede neural 1 camada

Ajuste do modelo: Descida de gradiente

$$\boldsymbol\beta^{(m+1)}=\boldsymbol\beta^{(m)} - \alpha\mathbf U_\beta^{(m)}$$

Implementação super simples:

for(i in 1:num_epochs) {
  grads <- compute_gradient(data, params)
  params <- params - learning_rate * grads
}

Descida estocástica

Bibliotecas computacionais

Keras

• Especifica modelos deep learning de forma intuitiva.
• Utiliza o TensorFlow como backend.
• Implementada originalmente em python.
• Muito utilizada nos dias de hoje

Keras + R

• Pacote: keras.
• Baseado em reticulate.
• Mantido por um brasileiro (Daniel Falbel, @dfalbel).
• sintaxe tidy, usando o %>%.

Torch + R

• Pacote: torch.
• Baseado inteiramente na libtorch, em C e C++. Sem dependência do python.
• Mantido por um brasileiro (Daniel Falbel, @dfalbel).
• Em fase inicial de desenvolvimento.

GPU

Graphical Processing Unit

• Com ela, paralelizamos as computações em maior volume do que é possível com um processador.
• Resultados 50x, 100x mais rápidos.

Vantagens e desvantagens

R e python

• Python está mais avançado e tem comunidade maior.
• Desenvolver em R traz mais aprendizado sobre o tema.

keras e torch

• {keras} tem mais recursos, mas depende do python.
• {torch} tem muito potencial, mas está no começo.

Convoluções

Resumo

• Deep learning é como uma regressão não linear estruturada.

• Os modelos são flexíveis e a arquitetura é transparente.

• GPU ajuda muito no ajuste dos modelos.

• Podemos usar {keras} e {torch} para ajustar os modelos.