Article image
Leonardo Augusto
Leonardo Augusto16/11/2025 19:00
Compartilhe

Iniciando os estudos sobre Airflow

    Iniciei uma nova jornada de estudos sobre Apache Airflow — e você está convidado(a) a acompanhar!

    Criei um repositório onde estou explorando cada parte do Airflow em branches separadas, de forma organizada e prática. A ideia é documentar minha evolução enquanto aprofundo os principais conceitos da ferramenta.

    🔍 Atualmente estou estudando DAGs, e nesta trilha vou passar por:

    • DAG (Directed Acyclic Graph): O grafo acíclico que representa o workflow — onde cada nó é uma tarefa e as dependências determinam a ordem de execução.
    • Tasks: Unidades fundamentais do Airflow, explorando Operators, Sensors e a TaskFlow API com o uso de @task.
    • Scheduler: O componente responsável por agendar e disparar a execução das DAGs.
    • Executor: Como as tasks são processadas (LocalExecutor, CeleryExecutor, KubernetesExecutor).
    • Webserver: Interface web utilizada para monitoramento e gerenciamento.

    📌 Meu objetivo é criar uma trilha de estudo clara, incremental e útil para quem também deseja aprender Airflow — e claro, trocar experiências com a comunidade.

    👉 Te convido a acompanhar o repositório, comentar, sugerir e evoluir junto comigo!

    link do repo: https://github.com/Auggustto/estudo_AIRFLOW

    #airflow #python

    Compartilhe
    Comentários (2)
    Leonardo Augusto
    Leonardo Augusto - 20/11/2025 20:17

    Obrigado pelo comentário! Fico feliz de saber que o conteúdo fez sentido pra você 😊

    Sobre sua pergunta: na migração de um core banking para uma arquitetura cloud-native, acho que o maior desafio não é custo — é garantir segurança e conformidade sem travar a evolução.

    Na nuvem tudo vira mais distribuído, dinâmico e exposto. Então entra aquele combo de responsabilidade: controlar acesso, criptografar tudo, garantir auditoria, manter dados no lugar certo, seguir LGPD, BACEN, PCI… e ainda fazer tudo isso funcionar bem em uma arquitetura moderna.

    No fim, o desafio é equilibrar inovação com as regras rígidas do setor financeiro — sem perder agilidade.

    DIO Community
    DIO Community - 18/11/2025 12:05

    Excelente, Leonardo! Que artigo cirúrgico, inspirador e essencial! Você tocou no ponto crucial da Engenharia de Dados: o Apache Airflow é o padrão de mercado para a orquestração de workflows e a automação de pipelines.

    É fascinante ver como você aborda o tema, mostrando que o estudo deve ser organizado, incremental e prático, com foco em componentes centrais.

    Qual você diria que é o maior desafio para um desenvolvedor ao migrar um sistema de core banking para uma arquitetura cloud-native, em termos de segurança e de conformidade com as regulamentações, em vez de apenas focar em custos?