Olá, pessoal! Esperamos que estejam todos bem!
Na última edição, falamos sobre como o Databricks ajuda a organizar o caos dos dados. Hoje, vamos abrir um pouco mais o capô e entender quatro conceitos que aparecem o tempo todo nesse universo:
Data Warehouse, Data Lake, Lakehouse e Delta Lake. Qual é a diferença entre eles e qual o formato de armazenamento ideal para a minha arquitetura?
Vamos utilizar novamente o conceito da nossa empresa fictícia, que vende em várias lojas.
Todos os dias, a empresa recebe planilhas de vendas, registros de estoque, pagamentos, cadastros de clientes e dados do aplicativo. Guardar tudo isso não é o maior problema.
O verdadeiro desafio é transformar esses dados em informações nas quais a empresa possa confiar, e para estruturar o formato desses dados e disponibilização deles, temos alguns conceitos para conhecer:
Começando pelo Data Warehouse. O que é isso?
É um ambiente no qual os dados já chegam tratados, organizados e prontos para análise.
Pense nas informações usadas em relatórios e dashboards, como vendas por loja, receita por produto e estoque disponível. Tudo segue uma estrutura definida para que as áreas de negócio encontrem respostas com rapidez.
Mas nem todo dado chega pronto para entrar nesse ambiente.
Logs, arquivos JSON, imagens e informações ainda não tratadas também podem ser importantes. É aí que entra o Data Lake.
O Data Lake funciona como um grande espaço de armazenamento.
Ele permite guardar enormes volumes de dados em diferentes formatos, inclusive em seu estado original. A empresa pode armazenar primeiro e decidir depois como utilizar aquela informação.
Isso oferece bastante flexibilidade, mas também traz um risco.
Sem organização e governança, o Data Lake pode virar um verdadeiro pântano de dados, com arquivos duplicados, informações desatualizadas e tabelas nas quais ninguém confia.
De um lado, temos o Data Warehouse, mais organizado. Do outro, o Data Lake, mais flexível.
E se fosse possível unir os dois?
Essa é a proposta do Lakehouse.
O Lakehouse combina a flexibilidade do Data Lake com a organização e a confiabilidade do Data Warehouse. Assim, engenheiros, analistas e cientistas de dados podem trabalhar sobre a mesma base para construir pipelines, criar relatórios e desenvolver soluções de inteligência artificial.
Agora falta uma peça importante nessa história.
Onde entra o Delta Lake?
O Delta Lake não é um concorrente do Data Warehouse ou do Lakehouse. Ele é uma tecnologia que ajuda a manter os dados confiáveis dentro dessa arquitetura.
Imagine que milhares de vendas estejam sendo gravadas em uma tabela e o processo falhe pela metade. Sem o controle correto, o relatório pode ser atualizado com dados incompletos.
O Delta Lake evita esse problema. Ou a operação termina corretamente, ou ela não é aplicada.
O Delta Lake é possui estrutura nativa no Databricks e conta com um ambiente composto com um histórico das alterações, permite consultar versões anteriores e ajuda a controlar mudanças na estrutura dos dados, além de ter estrutura de governança, computação e integração própria no ambiente.
De forma simples:
O Data Warehouse organiza. O Data Lake armazena. O Lakehouse une os dois. E o Delta Lake ajuda a garantir a confiabilidade dos dados.
No fim, não basta guardar informação.
É preciso saber de onde ela veio, o que aconteceu com ela e se podemos confiar no resultado.
E você, já utiliza algum desses conceitos no seu dia a dia?
Na próxima edição, vamos falar sobre o motor que processa grandes volumes de dados dentro desse ecossistema:
O que é Apache Spark e qual é sua relação com o Databricks?
Quer ficar à par dar novidades e interagir com a comunidade?
Então participe do grupo de WhatsApp do Databricks User Group Curitiba!
Por lá, você pode tirar dúvidas, compartilhar conhecimento, acompanhar os próximos conteúdos e interagir com quem também está explorando o universo dos dados.
Entre no grupo e venha construir essa comunidade com a gente! 🤩
https://chat.whatsapp.com/BFswBiIa1dl5XP74w8Xoht?s=cl&p=a&mlu=4&ilr=4