Dark data: lixo virtual ainda inexplorado

É impressionante a capacidade que o ser humano tem de produzir lixo. Por mais estranho que pareça, isso também ocorre no mundo virtual e atende pelo nome de dark data. São informações coletadas, processadas e armazenadas de maneira regular e geralmente sem aproveitamento para outras formas de uso. Sendo assim, as empresas mantêm esses dados por tempo indefinido, sem estruturação e sem plano de uso, o que gera custos adicionais e riscos não previstos.
Também o meio ambiente sofre com esses dados inúteis armazenados em data centers do mundo todo. A empresa de consultoria Veritas estima que somente este ano 6,4 milhões de toneladas de CO2 serão lançados na atmosfera, resultado da energia gasta no armazenamento de dark data.
Segundo Rogério Soares, diretor de Pré-Vendas e Serviços Profissionais Latam da Quest Software, muitas companhias coletam e geram esse tipo de dados de forma sistemática, fazendo deste um problema crescente. “Ao solicitar dados diversos de seus clientes, empresas geram logs e registros de suas transações e, em muitas vezes, procuram registrar a maior quantidade de dados possíveis”, diz. “Por questões de compliance, ou por não ter clareza em políticas de retenção, esses dados são simplesmente armazenados para que se houver necessidade de qualquer consulta futura as evidências estarão lá para serem coletadas. Mas quais problemas há nesse tipo de atitude?”, questiona Soares.

Para o executivo, além do custo do armazenamento, há agora a questão da Lei Geral de Proteção de Dados (LGPD). “Uma parte significativa do dark data pode conter dados sensíveis. Assim, conhecer o conteúdo é uma necessidade urgente, pois é necessário garantir que os dados que lá estão sigam as políticas de acesso restrito, armazenamento em conformidade com LGPD e regras de sua área de atuação e, no futuro, estejam preparados para informar a qualquer cliente sobre onde estão seus dados e quais são”, afirma.
Ouro no lixo
A True Global Intelligence realizou um estudo global chamado State of Dark Data, que traz um viés de negócio e oportunidades. Patrocinada pela empresa Splunk, o estudo ouviu 1,3 mil líderes de negócios e tecnologia em sete países (Estados Unidos, Reino Unido, Alemanha, França, China, Japão e Austrália).
Na média, 55% dos dados de uma organização são obscuros, não quantificados e inexplorados. São bilhões de dispositivos interconectados que se comunicam com incontáveis serviços em nuvem. As empresas acumulam dados de arquivos de log do servidor, redes GPS, ferramentas de segurança, registros de chamadas, tráfego da web e muito mais. Cada transação digital, desde transferências de back-end até as pontas dos dedos do cliente, é catalogada. Tudo, desde o conteúdo das prateleiras de um depósito até a temperatura das de servidores, a hora e localização de cada login nas redes, tudo é registrado e armazenado em algum lugar.
Por outro lado, o dark data pode ser hoje um enorme recurso inexplorado que pode gerar negócios. A maioria das organizações luta para capitalizar ao máximo o potencial de seus dados. Um terço dos entrevistados relatou que mais de 75 por cento dos dados de sua organização está no escuro, ou seja, não tem utilidade no momento. Apenas 11% relataram que apenas um quarto (25%) dos dados são dark data.
Soluções
Segundo o estudo, processos, recursos e tecnologia inadequados dificultam o uso inteligente desses dados obscuros. Negligenciado por gerentes de negócios e de TI, essas informações são subutilizadas, exigindo uma abordagem mais sofisticada da forma como as organizações coletam, gerenciam e analisam os dados.
As organizações devem aproveitar as oportunidades e enfrentar os desafios do dark data, por meio de uma maior visão estratégica, investimento direcionado em tecnologia e treinamento de habilidades dos seus colaboradores.
Praticamente todos os entrevistados, em todo o mundo, acreditam que o valor dos dados vai crescer e se tornar cada vez mais central para o sucesso organizacional no futuro. Isso sugere que as organizações continuarão a investir em tecnologias, processos e talentos em torno de dados e análises: 71% esperam que os dados se tornem mais valiosos nos próximos 10 anos, e quase todos esperam que os dados vão se tornar mais influente na tomada de decisões; 76% concordam que a organização que tiver mais dados terá vantagem no mercado; 88% concordam que o mundo está atualmente na transição da era do Big Data para a era dos resultados baseados em dados; e 85% afirmaram que a implementação bem-sucedida de Inteligência Artificial requer um gerenciamento de dados bem-sucedido.
Como as organizações melhoram seu acesso aos dados obscuros e aos insights que eles contêm? Os entrevistados disseram que para fazer melhor uso dos dados, eles precisarão de uma abordagem holística para superar a técnica e obstáculos organizacionais. Estratégia de dados e a busca de dark data não pode ser um projeto, tem de ser uma prioridade organizacional, uma competência essencial impulsionado por líderes e talentos internos com vistas ao gerenciamento ponta a ponta de todos os dados.
As principais soluções que os entrevistados consideraram ter potencial inclui treinar mais funcionários em ciência de dados e análises; usar um novo software que facilite funcionários a analisar dados; e incorporar a coleta de dados no desenvolvimento de aplicativos e dispositivos.
Serviço
www.quest.com
www.splunk.com