Forem: Ebraim Carvalho

Como pensar em modelagem de dados em um ambiente de big data?

Ebraim Carvalho — Sat, 22 May 2021 01:08:18 +0000

Uma visão pessoal de um estudante da área que tem muuuuito a aprender:

O ponto central nesse quesito é pensar de fato na única fonte da verdade, confiável, onde a partir dela seriam geradas tabelas e consultas para responder as perguntas de negócios, treinar modelos de machine learning, identificar fraudes e etc. O segundo ponto seria a alta disponibilidade desses dados, pois a ponta consumidora muitas vezes precisa dessa única fonte da verdade de forma rápida e com possibilidade de integração/consumo com diferentes plataformas e ferramentas.

Em dias em que cada vez mais dados são gerados em diversos formatos, o papel do engenheiro de dados está intimamente ligado ao tratamento desses dados, seja estruturados, semi estruturados e não estruturados, em diferentes formatos, de diferentes fontes, a modelagem é a base para organizar nossa matéria-prima.

Atualmente já existem novas arquiteturas de dados, delta lake, data lakehouse, data mesh e muitas outras que buscam a eficiência do pipeline de dados de acordo com cada necessidade do negócio.

Após definir a arquitetura utilizada e as ferramentas que irão compor o fluxo de dados, podemos pensar na modelagem numa forma de mapear os dados e alocá-los em diferentes tabelas, para isso precisaremos entender conceitos de tabela fato, tabela dimensão, star schema, snowflake, as formas de normalização para reduzir a redundância de dados, aumentar a integridade e a eficiência que estamos buscando. Conceitos de cubos OLAP para disponibilizar consultas analíticas assertivas e ricas para nossos analistas e cientistas e muito mais.

Entendendo esses conceitos e com nossa arquitetura e ferramentas definida, podemos de fato modelar nossa única fonte da verdade e criar todo nosso pipeline de dados.

Data, data everywhere!

Ebraim Carvalho — Wed, 21 Apr 2021 19:54:25 +0000

A cada dois anos, em média, os dados gerados dobram de tamanho. Então pensar se a arquitetura de dados é escalável é algo a ser pensado no início da construção de projeto de dados. Não levando em consideração apenas o armazenamento, mas o processamento, análise e disponibilidade desses dados para a ponta final do pipeline.

Alguns números para ilustrar:

Facebook recebe 600 terabytes de dados por dia
Youtube recebe 300 horas de vídeo por minuto
Google recebe 40 mil consultas de pesquisa por segundo

Segundo uma pesquisa de 2018 da Dresner, concluiu que as empresas que usam tecnologia big data saltou de 17% em 2015 para 59% em 2018. Em contra partida, o percentual das empresas que não planejam usar big data caiu de 36% em 2015 para 9% para 2018. Uma tendência que nos mostra que os desafios de big data das empresas está apenas no começo.

Claro que não são todas as empresas que precisarão de ferramentas de big data para tratar grandes volumes de dados, na real, a maioria delas ainda nem são orientadas por dados e não precisarão de uma arquitetura robusta em toda sua vida. Mas ao fazer essa mudança de mentalidade e começar a trabalhar com dados, criando uma cultura data driven, o que são poucos gigas hoje, rapidamente pode se transformar em terabytes em poucos anos. E ter em mente onde esse caminho pode levar, poupará esforço e recursos!

Se sua empresa ainda não é orientada por dados e quer começar a tomar melhores decisões, o segundo melhor dia para começar a construir sua "fonte da verdade" é hoje, o melhor dia foi ontem!

Afinal...

Understand React Redux - Introduction

Ebraim Carvalho — Tue, 09 Jun 2020 06:30:44 +0000

This month, I started to learn more about Redux, so I decided to write a basic post with my knowledge of Redux with React. I am also learning, so correct me if there is an error.

For Redux, you need some things:

Reducer: A function that manages your actions and return a new state;
Actions: A function that tells your reducer what it needs to do;
Store: A state that will pass to our application;

There is a recomendation to focus our variables that define our actions, defining a string to a constant.

Let's look at an example, first our Reducer and Actions:

// our constant with a string type
const ADD = 'ADD';

// our action creator, needs to be a pure function
const addMessage = (message) => {
  return {
    type: ADD,
    message: message
  }
}

// our reducer, also needs to be a pure function
const messageReducer = (state = [], action) => {
  switch(action.type) {
    case ADD :
      // join the new message with the others
      return [...state, action.message]
    default :
      return state
  }
}

// need to import {createStore} from 'redux'
const store = createStore(messageReducer)

That's it, our state are ready. Now we need to call it on our component to read the state or send an action. Let's see how we can do that:

import {useState} from 'react';
import { Provider, connect } from "react-redux";

const Presentational = (props) => {
  const [input, setInput] = useState('')

  const handleChange = (e) => {
    setInput(e.target.value)
  }

  const handleSubmit = () => {
    // we can call through the props because we use mapDispatchToProps below
    props.submitNewMessage(input)
    setInput('')
  }

  return (
    <div>
      <h2>Type a new message:</h2>
      <input type="text" value={input} onChange={handleChange} />
      <button onClick={handleSubmit}>Submit new message</button>
      <ul>
        // we can read through the props because we use mapStateToProps below
        {props.messages.map((message, index) => (
          <li key={index}>{message}</li>
        ))}
      </ul>
    </div>
  )
}

const mapStateToProps = (state) => {
  return {messages: state}
};

const mapDispatchToProps = (dispatch) => {
  // if we has another action, we will pass in this object
  return {
    submitNewMessage: (message) => {
      dispatch(addMessage(message))
    }
  }
}

// connect all of this things in a Container wrapper
const Container = connect(mapStateToProps, mapDispatchToProps)(Presentational);

const App = () => {
  return (
    // here the magic happens
    <Provider store={store}>
      <Container />
    </Provider>
  )
}

That's it, I'm learning and that's what I understood so far, what did you think of redux?

A simple way to redirect react-router-dom

Ebraim Carvalho — Sat, 30 May 2020 05:25:50 +0000

Well, I was researching how to redirect to another page / component by clicking on a simple button or returning a function and found this simple and easy way:

import { useHistory } from 'react-router-dom';

function app() {
  let history = useHistory();

  const redirect = () => {
    history.push('/your-path')
  }

  return (
    <div>
      <button onClick={redirect}>Redirect</button>
    </div>
  )
}

That simple!
I was struggling for a while because most of the examples were about reaction class components and I thought it prudent to leave that way to those who use react function components.

What other ways do you use to redirect?

#1 - Hello World

Ebraim Carvalho — Sat, 23 May 2020 02:40:59 +0000

This is my first post on dev.to, how are you doing?

Well, I'm Ebraim Carvalho, from Brazil, 28 years old and Front-End Developer. I switch my career last year when I moved from Business Administration to Web Development.

In the past 14 months, HTML, CSS, Javascript, and more subjects around web development are part of my quotidian. Every day, I study between 5 and 7 hours, from Sunday to Sunday looking to my goals!

One of the goals is living and working as a Developer in Europe or remotely, and I will need to know English. So, to improve my English and share my knowledge about IT and to learn more effectively, I decided to write about Front-End development, what I am studying, my questions and etc... in English!

You are welcome!