O real papel do engenheiro de dados

A mineração está diferente nos dias de hoje. E o engenheiro de dados sabe bem disso. Afinal, é nessa ciência que atualmente está aplicada a nova atividade ‘mineradora’. E essa engenharia contemporânea é a responsável por tratar da transformação dos dados brutos de uma empresa.

É aí que começa a primeira ‘extração’ no processamento de dados, que abarca a série de atividades para dar uma utilidade prática à imensa quantidade de informação disponível. E a dinâmica segue um ritual extremamente relevante com os processos de coleta, armazenamento e distribuição dos dados, que estão sob a mira da engenharia de dados.

E quem é o profissional que faz isso? Quais as principais responsabilidades e desafios do (a) engenheiro (a) de dados? É ele o grande articulador por reunir, organizar e disponibilizar de maneira simples e acessível todos os dados da empresa.

O engenheiro de dados tem propriedade para ir além das linguagens (Java, Scala e Python e outras). Ele tem domínio amplo da lógica e do quão complexo é o ecossistema de conceitos que povoa esta técnica, incluindo inclui Big Data e computação em Nuvem. São com base nesses conhecimentos que o profissional de dados concebe, constrói e realiza uma série de testes de arquiteturas de sistemas de processamento de dados. É ele também o responsável por orientar soluções de aquisição de dados e de combinação de fontes de dados.

Com essa gama definida, é o engenheiro quem elabora o chamado pipeline de dados. É importante a criação desse processo pelo qual a informação passa, incluindo a entrada no sistema, o processamento e o armazenamento, facilitando assim as consultas a serem realizadas por quem precisa desse levantamento. Outro embasamento relevante é que o engenheiro de dados tenha também conhecimentos sobre análise preditiva e prescritiva, para auxiliar end to end todas as etapas do trabalho.

A qualificação da tomada de decisão a partir dos dados também faz parte do escopo de avaliação da engenharia de dados. Há ainda uma composição com a ciência de dados, que atua de forma equivalente com a engenharia de dados. Embora sejam áreas complementares, o trabalho do cientista entra após o processo gerido pelo engenheiro, que desenvolve toda uma infraestrutura para coletar, organizar e armazenar os dados. Já o cientista de dados, chega para aplicar suas capacidades para tratá-los. Cabe a ele ‘minerar’ os dados e extrair os melhores e mais valiosos insights para seus clientes ou para a empresa em que trabalha.

Isso posto, cabe lembrar que todo esse ritual segue a segurança já definida pela Lei Geral de Proteção de Dados (LGPD), que protege tanto o consumidor como todos os envolvidos nesse ecossistema. A LGPD disponibiliza amplos benefícios, porque limita os seus riscos, cria um ambiente seguro, confiança e transparência, além de gerar resultados positivos para todos.

Os desafios para o engenheiro de dados são imensos, no entanto, seguir alguns princípios dão o caminho certo para conquistar credibilidade e retorno. Destaco aqui quatro deles.

Boa interlocução. É essencial ser um bom interlocutor e conseguir entender os desafios de cada área da empresa. Não bastando somente entender de ‘bits e bytes’.

Alta capacidade de aglutinar os dados. Ter a capacidade de selecionar, organizar e reunir, da forma mais eficaz possível, os dados relevantes para as mais diversas áreas de uma organização.

Ser um ‘trust advisor’ sobre as melhores e mais eficazes ferramentas tecnológicas de mercado.

E, por último e não menos importante, conseguir realizar a extração do valor dos dados por intermédio de ‘insights’ que façam a diferença na tomada de decisões da empresa.

Resumidamente, esses fatores, quando bem definidos e postos em prática, elevam o valor do profissional da mais nova mineração, já que os dados estão por toda a parte.

Por Esdras Cândido, vice-presidente de Produtos e Serviços da Orys.