ETL, Serving Layer e Data Processing. Se você trabalha na área de dados e desenvolvimento de software, já deve ter se deparado com pelo menos um desses termos utilizados como referência para etapas que ocorrem no fluxo de dados. Do input ao output, colocar tais etapas lado a lado nem sempre é algo compreendido por todos. Neste artigo, discutirei de forma bastante breve cada uma dessas fases, com destaque para os pontos em que mecanismos de inteligência artificial vêm sendo aplicados.
O acúmulo de dados nas empresas gerou a necessidade de agregar inteligência tecnológica. Quando o assunto gira em torno de dados, a inteligência envolve desde a organização e visualização, para extração de insights, até predições, análises probabilísticas e estatísticas. Para atingir esses fins, as companhias recorrem a profissionais capacitados para organizar as bases de dados (tipicamente engenheiros de dados), para extrair informações (cientistas e analistas de dados) e profissionais de backend, que performam a tarefa de estabelecer conexões para viabilizar tudo isso.
Após essas duas etapas (extração e transformação) é necessário armazenar (Loading – “L” da sigla ETL) os dados em algum banco (ou “bucket”) para que sejam acessados pelo processamento. Ao realizar isso, pode-se dizer que a etapa de “pré-processamento” dos dados foi finalizada, ou seja, eles foram organizados e passaram pelas transformações necessárias para entrarem numa etapa mais “rebuscada” de geração de informação. Para alguns, a etapa de ETL e disponibilização dos dados em um “Data Warehouse” é o suficiente para que as ferramentas de Business Intelligence (BI) acessem e gerem dashboards com informações relevantes, pulando direto para o “serving layer” da figura.
Caso ainda exista a necessidade de agregar e extrair mais informações das bases de dados fornecidas, inicia-se a etapa de modelagem/análise estatística. Essa é a fase na qual são performados métodos para extrair correlações e/ou gerar projeções. Aqui entra uma infinidade de modelos de Machine Learning, além dos mais tradicionais, que posteriormente são acessados para, por exemplo, criarem diferentes cenários, entenderem os efeitos de cada variável em uma terceira e extrapolarem os resultados para outros dados. Toda essa informação deve ser salva, gerando uma nova etapa de “Loading”, para que possa ser acessada pela interface com o usuário (“User Interface – UI”).
A interface está relacionada à etapa de “Serving”, e diversas ferramentas disponíveis no mercado permitem a conexão do usuário com os dados processados. Ao configurar um dashboard, tipicamente o que se encontra por trás dele é um conjunto de APIs estruturadas para fazerem requisições para o banco de dados, extraírem os resultados e disponibilizá-los em gráficos e tabelas. Nessa fase final, a pessoa que consome as informações pode entender com mais clareza o que aqueles dados crus trouxeram de informação para a empresa.
Viajando da etapa de carregamento dos dados crus à disponibilização deles em uma interface intuitiva, várias etapas técnicas foram omitidas. Todo o estabelecimento de conexões, gatilhos, estrutura de workflows de modelagem, dimensionamento de máquinas, criação de outputs intermediários, geração de logs, monitoramento, entre outras, foram suprimidas para trazer uma visão simplificada do processo de estruturação de informações para consumo.
Apesar de simplista, a possibilidade de visualizar o processo e separar os papéis dos funcionários ao longo dessas etapas, é algo extremamente importante para decifrar gargalos de desenvolvimento e fragilidades do processo como um todo, criando um fluxo mais resiliente e seguro.
Por Matheus Sesso Gay, Auto ML & Time-Series líder na 4intelligence.
![Edição do mês](https://midias.inforchannel.com.br/wp-content/uploads/2024/07/01_CAPA-IC81-251x300.jpg)
Leia nesta edição:
![Leia nessa edição sobre tecnologia](https://midias.inforchannel.com.br/wp-content/uploads/2024/07/MATCAPA-ENERGIA-SOLAR_768x768-150x150.jpg)
MATÉRIA DE CAPA | SUSTENTABILIDADE
Fonte solar ganha expressão na matriz energética do Brasil
![Leia nessa edição sobre carreira](https://midias.inforchannel.com.br/wp-content/uploads/2024/07/TECNOLOGIA-EMERGENTE_768x768-150x150.jpg)
TECNOLOGIA
Combinar tecnologias emergentes é uma tendência sem volta
![Leia nessa edição sobre setorial | saúde](https://midias.inforchannel.com.br/wp-content/uploads/2024/07/MACHINE-CUSTOMER_768x768-150x150.jpg)
TENDÊNCIAS
A era dos bots autônomos
Esta você só vai ler na versão digital
![Leia nessa edição sobre setorial | saúde](https://midias.inforchannel.com.br/wp-content/uploads/2024/07/EXCLUSIVA_768x768-150x150.jpg)
APLICAÇÃO
Como o Canal se beneficia dos novos recursos dos CRMs
Baixe o nosso aplicativo