Forem: Franciele B. de Oliveira

Pipeline de Dados x Pipeline ETL

Franciele B. de Oliveira — Sun, 25 Jan 2026 22:05:20 +0000

Durante minha atuação como engenheira de dados, tive contato direto com pipelines reais, problemas de escala, qualidade e integração entre sistemas.
Recentemente, comecei o curso Fundamentos de Engenharia de Dados, da Data Science Academy, para consolidar teoricamente o que já havia vivenciado na prática — e tem sido uma experiência excelente.

Um dos pontos que mais clarearam para mim foi a diferença entre pipeline ETL e pipeline de dados, termos que muitas vezes são usados como sinônimos, mas não são.

🔹 ETL é parte do pipeline de dados

Todo pipeline de ETL é, sim, um pipeline de dados — mas o inverso não é verdade.

O ETL (Extract, Transform, Load) representa apenas uma etapa específica dentro de um pipeline maior, focada em:

Extrair dados de uma ou mais fontes
Transformá-los (limpeza, padronização, agregações)
Carregá-los em um destino

Quando o termo ETL foi cunhado, o cenário era bem mais simples:
📍 fontes limitadas
📍 destino quase exclusivo: Data Warehouses

🔹 Pipeline de dados é um ecossistema
Hoje, um pipeline de dados moderno vai muito além do ETL. Ele engloba todo o ciclo de vida dos dados, incluindo etapas como:

Ingestão batch e streaming
Orquestração e automação
CI/CD de pipelines
Segurança, controle de acesso e compliance
Enriquecimento de dados
Governança, metadados e catálogo
Linhagem e qualidade dos dados
Monitoramento e observabilidade

Além disso, tanto as fontes quanto os destinos se diversificaram:

APIs, eventos, IoT, logs
Data Lakes, Lakehouses
Sistemas analíticos e operacionais
Aplicações orientadas a dados

💡 Conclusão
Pensar apenas em ETL é pensar de forma restrita.
Pensar em pipeline de dados é pensar em arquitetura, governança, confiabilidade e escalabilidade.

Esse entendimento muda a forma como projetamos soluções e como enxergamos o papel da engenharia de dados hoje.

“Adeus ‘funciona na minha máquina’: Spring Boot com PostgreSQL usando Docker”

Franciele B. de Oliveira — Fri, 16 Jan 2026 12:07:33 +0000

Introdução

Quando comecei a estudar containerização de aplicações Java, uma coisa ficou muito clara:

o maior ganho não é apenas empacotar aplicações, mas transformar o ambiente inteiro em código.

Neste artigo, vou mostrar como dois arquivos são suficientes para subir uma aplicação Spring Boot + PostgreSQL, sem precisar instalar Java, banco de dados ou servidor de aplicação localmente.

Tudo o que você precisa é Docker ou Podman.

O problema clássico no desenvolvimento backend

Quem trabalha com backend já enfrentou pelo menos um desses cenários:

“Funciona na minha máquina”
Versões diferentes de Java entre ambientes
Banco configurado manualmente
Setup longo para novos membros do time

A containerização resolve exatamente isso:

o ambiente passa a ser reproduzível e versionável.

Exemplo prático: Spring Boot + PostgreSQL

Dockerfile da aplicação Spring Boot

O Dockerfile define como a aplicação Java será executada:

FROM eclipse-temurin:17-jdk
WORKDIR /app
COPY target/app.jar app.jar
ENTRYPOINT ["java","-jar","app.jar"]

O código está dizendo:

Qual versão do Java usar
Onde a aplicação ficará dentro do container
Como ela será iniciada

docker-compose.yml

Agora descrevemos toda a infraestrutura local:

version: "3.8"

services:
  db:
    image: postgres:15
    environment:
      POSTGRES_DB: appdb
      POSTGRES_USER: user
      POSTGRES_PASSWORD: pass
    ports:
      - "5432:5432"

  app:
    build: .
    ports:
      - "8080:8080"
    environment:
      SPRING_DATASOURCE_URL: jdbc:postgresql://db:5432/appdb
      SPRING_DATASOURCE_USERNAME: user
      SPRING_DATASOURCE_PASSWORD: pass
    depends_on:
      - db

Nesse arquivo yml definimos:

Um container para o PostgreSQL
Um container para a aplicação Spring Boot
Variáveis de ambiente
Comunicação entre os serviços

Subindo tudo com um único comando:

docker compose up

E pronto:
✅ Spring Boot rodando
✅ PostgreSQL configurado
✅ Rede criada automaticamente
✅ Ambiente igual em qualquer máquina

Por que isso é tão poderoso?

Porque muda completamente a forma de desenvolver software:

Ambiente deixa de ser um problema
Onboarding de novos desenvolvedores fica simples
Pipelines de CI/CD ficam previsíveis
Infraestrutura vira código versionável

Containerização não é só sobre Docker.
É sobre confiabilidade, portabilidade e padronização.

Conclusão

Quando você percebe que um projeto inteiro pode ser descrito em arquivos, o desenvolvimento muda de nível.

Esse modelo é a base para:

Microsserviços
Kubernetes
Arquiteturas modernas em cloud
Entrega contínua

E tudo começa com um Dockerfile e um docker-compose.

Microsserviços com Spring Boot: por que vou participar do Mergulho da AlgaWorks

Franciele B. de Oliveira — Thu, 08 Jan 2026 23:42:58 +0000

Já faz um tempo que venho buscando aprofundar meus conhecimentos em arquitetura de microsserviços com Spring Boot, principalmente olhando além do código e entendendo melhor os trade-offs arquiteturais envolvidos nesse tipo de solução. Por isso, na próxima semana vou participar do evento gratuito Mergulho Microsserviços Spring, promovido pela AlgaWorks.

O evento será conduzido por Thiago Faria de Andrade e acontece de forma 100% online, entre os dias 12 e 19 de janeiro de 2026.

📅 Programação do evento

A agenda cobre desde conceitos fundamentais até práticas mais avançadas, o que torna o evento interessante tanto para quem já trabalha com Spring quanto para quem quer evoluir em arquitetura:

12/01 – Aula 01: Arquitetura de #Microsserviços e #DDD
14/01 – Aula 02: Design Tático e Comunicação #REST
15/01 – Aula 03: Event-Driven com #Kafka e padrões de microsserviços
16/01 – Aula 04: Próximos níveis da especialização

🔥 Warm-up e nivelamento
Antes mesmo do início oficial das aulas, a AlgaWorks já liberou um warm-up, com:
Vídeo de preparação do ambiente de desenvolvimento

Vídeos de nivelamento sobre #Docker, #SpringBoot e #REST
Esse tipo de preparação faz bastante diferença, principalmente para garantir que todos acompanhem melhor os conteúdos mais densos sobre arquitetura e comunicação entre serviços.

🎯 Por que esse mergulho em microsserviços?
Trabalhar com microsserviços vai muito além de dividir uma aplicação em vários projetos. Envolve decisões importantes sobre:

comunicação síncrona vs assíncrona,
consistência de dados,
escalabilidade,
observabilidade,
resiliência e falhas distribuídas.

A proposta do evento parece atacar exatamente esses pontos, trazendo não só implementação com Spring, mas também visão arquitetural, algo essencial para quem quer evoluir como desenvolvedor backend.

🔗 Inscrições
Para quem tiver interesse, ainda dá tempo de se inscrever gratuitamente:
👉 https://lnkd.in/dqBhUG9B

💬 E você?
Alguém aqui já participou de alguma edição do Mergulho Microsserviços ou de treinamentos da @AlgaWorks?
O que acharam da experiência?

Ansiosa para aprofundar ainda mais nesse tema e trocar aprendizados com a comunidade 🚀💻

Collection in Java

Franciele B. de Oliveira — Thu, 17 Oct 2024 21:14:15 +0000

A hierarquia de collections em Java consiste em agrupar elementos/objetos, onde cada classe tem subclasses e métodos. Não aceita tipos primitivos, mas a classe "array" permite a inclusão de vários elementos homogêneos do mesmo tipo, aceitando tipos primitivos.

Os métodos do framework de collections estão presentes no pacote java.util dentro do JDK (Java Development Kit). As interfaces principais são List, Set e Map.

Generics
Utiliza o símbolo <> (diamante) para tipos genéricos. Os parâmetros de tipo mais comuns incluem E (Elemento), K (Chave), N (Número), T (Tipo), V (Valor).

Comparator x Comparable

São usados para ordenação de collections. Comparable fornece uma única sequência de ordenação, afetando a classe original, enquanto Comparator fornece múltiplas sequências sem modificar a classe original.

List x Set x Map

List: Permite elementos duplicados, mantém a ordem de inserção. Exemplos de implementações são ArrayList e LinkedList.
Set: Não permite elementos duplicados.
HashSet usa tabela hash
TreeSet usa árvore binária balanceada
LinkedHashSet mantém a ordem de inserção
Map: Mapeia chaves para valores.
HashMap usa tabela hash
TreeMap usa árvore binária balanceada
LinkedHashMap mantém a ordem de inserção

Exemplos de implementações/Classes:

ArrayList: Armazena elementos em um array redimensionável, permitindo acesso rápido por índices.
LinkedList: Armazena elementos em uma lista duplamente vinculada, eficiente para adição/remoção no início/final.
HashSet: Armazena elementos em uma tabela hash, sem ordem específica.
TreeSet: Armazena elementos em uma árvore binária balanceada, mantendo ordem crescente.
LinkedHashSet: Mantém ordem de inserção usando tabela hash e lista duplamente vinculada.
HashMap: Mapeia chaves para valores usando tabela hash, sem ordem específica.

Observações:
O primeiro elemento adicionado em um conjunto (Set) é o primeiro a ser retornado.
No Map, o método put atualiza ou cria um par chave-valor.
A interface Map não requer a criação de uma classe antes de criar uma coleção, e a busca pode ser feita diretamente pela chave, dispensando a necessidade de loops for.
Exemplos de implementações antigas incluem Vector (sincronizado) e HashTable (sincronizado e sem permitir nulos).

Como eu estudei para certificação AWS Cloud Practitioner e fui aprovada?

Franciele B. de Oliveira — Tue, 19 Dec 2023 20:16:04 +0000

A IBM tem um programa de reskilling onde o gerente te coloca. Após você ter finalizado o roadmap essencial do seu role job.
O meu reskilling, inicialmente foi o de IBM Cloud (falar mais em outro post) eu consegui a certificação de IBM Cloud V1, que é a de entrada para IBM Cloud.
Porém em consulting eu já notei certa tendencia de clientes brasileiros escolherem AWS, Google Cloud Plataform (GCP) ou Azure.
Daí resolvi conversar com meu gerente para trocar meu reskilling de IBM Cloud para AWS. Ele fez a buracria, e comecei meus estudos, segue os links dos cursos que eu fiz, simulados e os videos que usei para revisar tudo para prova:

Parte teorica + Pratica

Certificação Amazon AWS Cloud Practitioner Foundational 2022 | Udemy

Simulado

Certificação AWS Cloud Practitioner - Simulados em Português | Udemy

Vídeo de Revisao no dia da Prova:
AWS Cloud Practitioner — parte 1 (ft. Thauany Moedano)

AWS Cloud Practitioner — parte 2 (ft. Thauany Moedano)

AWS Cloud Practitioner — parte 3 (ft. Thauany Moedano)

Você sabe a diferença entre Biblioteca , API e Framework?

Franciele B. de Oliveira — Thu, 14 Dec 2023 21:40:34 +0000

Biblioteca
conjunto de funcionalidades genéricas.
Exemplo: a biblioteca de classes Java Math que contém várias funcionalidades de cálculo.

API – Interface do Programa Aplicativo
conjunto de bibliotecas que normalmente tem o objetivo de integração de diferentes aplicações. Exemplo: integração entre banco de dados com e uma aplicação java.

Frameworks são “APIs com manual de uso”, o que significa que eles servem a propósitos específicos (Web Framework, Game Development Framework, e outros). Você pode usar um conjunto de bibliotecas como quiser, APIs também são usadas como quiser, com a finalidade especifica e com o uso precisa ser de acordo com o manual.
Exemplo: Angular é uma estrutura, se não organizar a página da web em componentes não vai funcionar.

Reflexões sobre APIs

Franciele B. de Oliveira — Fri, 01 Dec 2023 01:49:04 +0000

Quando eu comecei a programar... há 9 anos atrás, o hype era HTML, CSS e PHP.
Maratonei o Curso em Vídeo do Guanabara e consegui fazer a codificação de um processo para entrar num grupo de Pesquisa.
A proposta era: Usar uma aplicação WEB em PHP para ler um arquivo txt, que estava estruturado (hoje sei que o formato era um json clássico com a extensão .txt) e mostrar no navegador. Aqui está o repositório da minha solução: Projeto File to File de uma dev junior/sandy (não refatorei, e nao mechi uma linha sequer desde que entreguei, que os deuses do clean coding não leiam isso)

E aí 10 anos depois, quando eu volto a olhar o mercado e que tem sido falado/requerido de tecnologia, gira em torno de API e Microsserviços (assunto do próximo artigo)
E por insegurança e nunca ter sentado para codificar/estudar, constumava falar que não sabia construir API, porque toda vez que procurava sempre via as pessoas falando consumir serviços web: CEP, Pokedex, twitter.

Realmente nunca tinha feito um código de API em Java que consumisse um serviço web e muito menos desenvolvido uma API Rest conforme o figurino. (Até 5 min desse texto isso era verdade, Obrigada #Alura pela imersão java)

Daí, me pego pensando nos tipos de API.
As API Restful, seguem o protoloco de comunicação HTTP e além de ter uma arquitetura bem definida e estar dentro dos requisitos pré-estabelecidos para assim ser consideradas.

Mas e as que não são desse modelo? Que além de não consumirem dados de um lugar na WEB, não usam o protocolo http.
Eu posso ser ousada em falar, mas o que eu fiz que foi consumir localmente uma estrutura JSON e mostrei no meu localhost. Não pode ser considerado uma API?

E outra reflexão que me surgiu, o que mais a gente sabe que tem outro nome e outra roupagem que no fundo funciona da mesma forma? Eu fiquei feliz de não ter partido do zero no estudo de APIs, porque há anos atrás eu já havia tido algum contato com consumo de estruturas para serem processadas e apresentadas de uma determinada forma.

Como eu estudei para certificação AZ-900 e fui aprovada?

Franciele B. de Oliveira — Fri, 03 Nov 2023 18:16:18 +0000

Dicas para otimizar o estudo e focar direto na certificação

Embora tenha passado na prova em 2023, meus estudos começaram no ano de 2020, junto com a pandemia e a oportunidade de fazer uma mentoria promovida pela WoMakersCode e Microsoft chamada Black Woman in Tech.

E ai a IBM entrou com tudo investindo nos seus profissionais, para que eles fossem certificados em diferentes clouds, sim a IBM está com um programa de incentivo a certificação. Nessa que eu fiz a prova de IBM Cloud, AWS, Azure Fundaments e Azure Data.

Meus estudos começaram por aqui:

Azure Fundamentals
Roadmap Oficial da Microsoft
(Buscar no link por: ROTEIRO DE APRENDIZAGEM)

E utilizei esses vídeos na véspera da prova para avivar o conteúdo na minha cabeça:

AZ-900 | EP 1/5 | AZ900 | Treinamento Oficial | Microsoft Azure Fundamentals

AZ-900 | EP 2/5 | AZ900 | Treinamento Oficial | Microsoft Azure Fundamentals

AZ-900 | EP 3/5 | AZ900 | Treinamento Oficial | Microsoft Azure Fundamentals

AZ-900 | EP 4/5 | AZ900 | Treinamento Oficial | Microsoft Azure Fundamentals

AZ-900 | EP 5/5 | AZ900 | Treinamento Oficial | Microsoft Azure Fundamentals

Como eu estudei para certificação DP900 e fui aprovada

Franciele B. de Oliveira — Thu, 26 Oct 2023 21:50:03 +0000

Essa foi a minha ultima e a que iniciei os estudos com poucos dias para prova. Então otimizei com os videos do Canal da nuvem:

Assistam e me agradeçam depois!