🧠 Entendendo as Camadas de Atenção no Machine Learning

Se você já se perguntou como um modelo consegue “prestar atenção” nas palavras certas de uma frase, bem-vindo ao mundo das Attention Layers! 🤖✨

As camadas de atenção surgiram como uma forma de melhorar o desempenho de redes neurais, especialmente nas tarefas de tradução automática, resumo de textos, classificação de sentimentos e muito mais.

🔍 O que é Atenção?

A ideia principal é simples (e genial): dar pesos diferentes para cada parte da entrada, dependendo da sua importância para a tarefa. É como se o modelo perguntasse:

-“Em que parte da frase eu deveria focar para prever a próxima palavra?”

🧩 Tipos de Atenção:

• Self-Attention: cada palavra olha para todas as outras da frase (inclusive ela mesma). Usado no Transformer.
• Multi-Head Attention: várias “atenções” paralelas, capturando diferentes aspectos do contexto.
• Cross-Attention: uma sequência presta atenção em outra (ex: entrada vs. saída no Transformer Encoder-Decoder).

💥 Por que é importante?

Antes das camadas de atenção, modelos tinham dificuldade em entender dependências longas. Com atenção, conseguimos:

• ✔Compreender contexto
• ✔Capturar relações complexas
• ✔Aumentar performance com menos custo computacional

🧠 Resumo Visual da Self-Attention (modo texto 😄):

Palavra 1 ➡️ olha para ➡️ todas as palavras da frase
Palavra 2 ➡️ idem
...
Cada palavra ➡️ recebe uma pontuação de “atenção” baseada em similaridade

🚀 Curiosidade

Modelos como BERT, GPT, T5 e até o ChatGPT usam atenção como base! 💡

Abaixo, linha do tempo Transformers: