Banco de dados NoSQL: com Big Data

Se você já domina bancos de dados relacionais e sabe o que é uma boa modelagem em SQL, então está na hora de dar um passo além, e entender como o Big Data muda esse jogo. 😉

▪️Introdução

Quando o banco de dados tradicional não dá mais conta. Você já sabe trabalhar com PostgreSQL, MySQL ou SQL Server. Faz JOINs como quem toma café e entende o que é ACID sem pensar duas vezes. Mas... e quando os dados deixam de caber no seu banco? Quando os gigabytes viram terabytes e o tempo de resposta não acompanha o crescimento?

É aqui que entra o Big Data. Mas calma, nada de buzzwords soltas. Vamos entender isso juntos, passo a passo.

▪️ O que é Big Data❔

Big Data refere-se a conjuntos de dados extremamente grandes e complexos que as ferramentas tradicionais de processamento de dados não conseguem gerenciar com eficiência. 

Esses dados são caracterizados por três principais dimensões: volume (a quantidade de dados), velocidade (a taxa na qual os dados são gerados e processados), e variedade (a diversidade de tipos de dados, como estruturados, semiestruturados e não estruturados). 

O Big Data é usado para identificar padrões, tendências e comportamentos em grandes volumes de dados, permitindo a tomada de decisões mais informadas e aprimorando processos em diversas área 

Big Data não é só “grandes dados", "macrodados", ou "megadados”. É uma mudança completa na forma de armazenar, processar e analisar grandes volumes de dados que presentam os seguintes desafios, conhecidos como os 4 Vs do Big Data:

• Volume → Os dados crescem sem parar. Estamos falando de terabytes, petabytes e até exabytes de informação.
• Velocidade → Os dados chegam o tempo todo, em tempo real ou quase em tempo real, como em sensores IoT, redes sociais ou logs de sistemas.
• Variedade → Os dados vêm de diferentes fontes e formatos: textos, imagens, vídeos, planilhas, bancos SQL e NoSQL, etc.
• Veracidade → Os dados nem sempre são confiáveis. Eles podem estar incompletos, duplicados, desatualizados ou com erros, e por isso precisam ser tratados antes da análise.

Esse é o famoso modelo dos Vs do Big Data, e o motivo pelo qual soluções tradicionais muitas vezes travam ou se tornam caras e ineficientes. .

❌ Por que bancos relacionais em determinado ponto não são mais o suficiente❔

Bancos relacionais funcionam muito bem quando lidamos com dados estruturados, tabelas bem definidas, e precisamos de transações confiáveis com integridade referencial. Até aqui, tudo certo.

Mas quando entramos no cenário de Big Data, os desafios mudam, e o modelo relacional começa a tropeçar. Isso por que:

• Dados nem sempre vêm organizados: logs de sistemas, imagens, vídeos, sensores, cliques... muitos deles são semi ou não estruturados, e não se encaixam bem em tabelas fixas.
• Volume e a variedade exigem processamento distribuído: não dá mais pra contar com um único servidor. É preciso dividir a carga em clusters de máquinas trabalhando juntas.
• Crescimento exponencial: escalar “verticalmente” (colocar mais RAM ou CPU no mesmo servidor) tem limite e é caro. No Big Data, precisamos escalar horizontalmente, ou seja, adicionar mais máquinas ao sistema.

💬 Spoiler realista: Bancos relacionais tradicionais começam a engasgar nesse cenário. Eles não foram feitos para lidar com esse nível de diversidade, escala e velocidade por serem mais lentos.

▪️ Agora, entram os bancos NoSQL

Os bancos NoSQL não vieram para substituir o SQL, mas para complementar, adaptando-se a cenários de Big Data por serem mais rápido e de rápido acesso em tempo real.

Existem 4 principais tipos:

1. Documentos (Ex: MongoDB)

Armazenam dados no formato JSON ou BSON. Flexível e ideal para dados semi-estruturados.

• JSON (JavaScript Object Notation)

Formato de texto leve, amplamente usado para troca de dados

• BSON (Binary JSON)

É um formato de serialização binária que expande o JSON para ser mais eficiente em armazenamento e leitura, além de suportar mais tipos de dados.

Exemplo: Um app que armazena perfis de usuários com preferências personalizadas. Cada usuário pode ter campos diferentes.

2. Chave-Valor (Ex: Redis, DynamoDB)

Extremamente rápidos, ideais para cache ou sessões.

Exemplo: Login de usuários, contadores de curtidas em redes sociais.

3. Colunar (Ex: Apache Cassandra, HBase)

Armazenam dados por coluna e não por linha, otimizando buscas analíticas massivas.

Exemplo: Relatórios de analytics com bilhões de registros.

4. Grafos (Ex: Neo4j)

Perfeitos para representar relações complexas, como redes sociais ou rotas logísticas.

Exemplo: “Quem conhece quem” numa rede ou “qual o caminho mais curto entre X e Y”.

▪️E o que mais entra no ecossistema Big Data❔

Big Data não é só banco, é uma arquitetura inteira.

Veja alguns pilares:

• Hadoop & HDFS

Framework para armazenamento distribuído. Pensa num “HD virtual gigante” espalhado em vários servidores.

• Spark

Processamento de dados em memória, muito mais rápido que o antigo MapReduce.

• Kafka

Mensageria em tempo real. Ideal para dados em streaming, como logs ou cliques em tempo real.

• Data Lakes

Repositórios de dados brutos e diversos, onde tudo é armazenado primeiro para depois ser tratado (diferente de um data warehouse tradicional).

🔄️ E onde tudo isso roda❔

A maioria das arquiteturas de Big Data hoje está na nuvem. Veja alguns exemplos:

• AWS: S3 + Glue + Athena + EMR + DynamoDB
• Azure: Data Lake Storage + Synapse + Cosmos DB
• GCP: BigQuery + Dataflow + Firestore

A boa notícia? Você não precisa montar tudo do zero, a nuvem já traz soluções prontas (e muitas vezes gratuitas no plano inicial ou contas vinculadas a universidade).

▪️ Conclusão

Hora de expandir seu mindset!!👩🏻‍💻

Você já domina os fundamentos dos bancos de dados. Agora, pense além:

• Em dados que não cabem em tabelas,
• Em arquiteturas distribuídas,
• Em escalar não só o sistema, mas a sua forma de pensar.

Big Data não é um substituto. É uma evolução natural para quem lida com sistemas que crescem. Comece pequeno: explore um MongoDB, rode uma consulta no BigQuery ou monte seu primeiro Data Lake com arquivos CSV.

Sempre explore!!

🙋‍♀️ E aí, fez sentido pra você?

Esse artigo te ajudou a clarear o que é Big Data no mundo dos bancos de dados? Já teve alguma experiência com NoSQL ou ficou com dúvidas?

👉 Comenta aqui o que você já conhecia e o que foi novidade!