Data Warehouse, Data Mart e Data Lake: Uma Visão Abrangente

Marcylene Barreto — Mon, 15 Apr 2024 16:33:28 +0000

Conforme a humanidade ia evoluindo, viu-se a necessidade de registrar todas suas descobertas e conhecimentos, e por volta do quarto milênio a.C., foi criada na Mesopotâmia a escrita. Essa descoberta facilitou a comunicação, a transmissão de conhecimento e foi um passo maior no desenvolvimento da sociedade.

A partir dessa descoberta, tivemos um crescente número de informações e registros que precisavam ser armazenadas de alguma forma. E antes da criação do computador como conhecemos hoje, as informações eram registradas em fichas de controle, como formulários, e eram armazenadas em pastas ou gavetas em grandes salas.

Quando tivemos a criação do computador em meados de 1950, houve um crescimento exponencial na quantidade de dados gerados diariamente, e surgiu a necessidade de criação de uma estratégia efetiva para armazenar, gerenciar e analisar esses dados.

Nesse contexto, surgiram conceitos fundamentais como Data Warehouse, Data Lake, Data Mart, e o processo de ETL (Extração, Transformação e Carga), que desempenham papéis essenciais na gestão e utilização eficaz dos dados.

O que é DATA LAKE?

Data Lake (lago de dados) é repositório central para dados altamente escalável e flexível que permite que empresas armazenem dados estruturados, semi-estruturados e dados não estruturados, sem necessidade de estrutura de dados pré-definida. Ele oferece uma grande flexibilidade para análises, pois os dados podem ser transformados e processados conforme necessário.

ETL (Extração, Transformação e Carga)

O processo de ETL tem como etapa inicial a Extração, que é responsável pela coleta de dados de diferentes fontes, como banco de dados, arquivos e sistemas externos. A próxima etapa é a Transformação, que é responsável por garanti a qualidade e consistência, fazendo a limpeza e transformação dos dados que foi recebido. E por fim temos a Carga, que faz o armazenamento dos dados transformados para o local de destino, podendo ser no Data Warehouse, Data Mart ou Data Lake.

O processo de ETL é o responsável pela transferência de arquivos limpos, sem resíduos desnecessários para uma analise mais precisa.

O que é DATA WAREHOUSE?

Data Warehouse (armazéns de dados) são sistemas de gerenciamento de dados projetados para armazenar grandes volumes de dados de diversas fontes em um único local, otimizados para análise e consulta. Eles servem como repositório central de dados pré processados e estruturados de forma facilitada para analise e geração de relatórios para tomada de decisões empresariais. São essenciais para aplicações de Business Intelligence (BI), permitindo que as empresas transformem seus dados em informações úteis e acionáveis.

O que é DATA MART?

Um Data Mart é um Data Warehouse que atende as necessidades de uma unidade de negocio especifica ou grupo de usuários dentro da organização, como departamento financeiro, venda, etc. Ele contem dados específicos à área especificas de interesse, isso torna os Data Marts mais ágeis e focados do que um Data Warehouse completo, oferecendo uma visão mais detalhada e especializada dos dados.

Semelhanças

Armazenamento de dados: Todos são projetados para armazenar grandes volumes de dados, de diferentes fontes.
Processamento: Processa dados de forma consistente, confiável e útil, permitindo analise de dados úteis para a empresa.
Preparação: Prepara os dados em formato de arquivos XML para software machine learning ou com geração de relatórios.