AWS anuncia novas integrações ETL zero para análises de dados mais rápidos

A Amazon Web Services (AWS) apresentou no evento AWS re:Invent (27/11 a 1/12 em Las Vegas, EUA), soluções para que o usuário conecte e analise dados facilmente sem criar e gerenciar pipelines complexos de Extração, Transformação e Carregamento (ETL). As novas integrações do Amazon Aurora PostgreSQL, Amazon DynamoDB e Amazon Relational Database Service (Amazon RDS) para MySQL com o Amazon Redshift facilitam a conexão e a análise de dados transacionais de vários bancos de dados relacionais e não relacionais no Amazon Redshift.

Os clientes agora também podem usar o Amazon OpenSearch Service para realizar pesquisas de texto completo e vetoriais em dados do DynamoDB quase em tempo real. Ao tornar mais fácil conectar-se e agir com base em seus dados, não importa onde eles estejam, essas integrações sem ETL ajudam os clientes a aproveitar a amplitude e a profundidade dos principais serviços de banco de dados e análise da AWS para descobrir novos insights, inovar com mais rapidez e produzir dados melhores decisões orientadas.

“Para ajudar os clientes a impulsionar a inovação com dados, a AWS oferece o conjunto mais amplo e profundo de serviços de dados do setor para armazenar e consultar qualquer tipo de dados em escala”, afirmou Swami Sivasubramanian, vice-presidente de Dados e Inteligência Artificial da AWS. “Além de terem a ferramenta certa para o trabalho, os clientes precisam ser capazes de integrar os dados que estão espalhados pelas suas organizações para gerar mais valor para seus negócios e inovar com mais rapidez. É por isso que estamos investindo em um futuro com ETL zero, onde a integração de dados não seja mais um esforço tedioso e manual, e os clientes possam facilmente obter seus dados onde precisarem. As novas integrações anunciadas levam os clientes em direção a esse futuro de ETL zero, e continuamos investindo nessa visão para facilitar aos clientes a integração de dados de todo o sistema, para que possam se concentrar na geração de novos insights”, completou.

Os dados são o diferencial de qualquer organização. No entanto, as organizações têm diferentes tipos de dados provenientes de diferentes origens, em diversas escalas e velocidades, e os usos desses dados são igualmente variados. Para que as organizações aproveitem ao máximo seus dados, elas precisam de um conjunto abrangente de ferramentas que leve em conta todas essas variáveis, juntamente com a capacidade de integrar e combinar dados espalhados por diversas fontes. Por exemplo, uma empresa pode armazenar dados transacionais em um banco de dados relacional que deseja analisar em um Data Wrehouse, mas usar outra ferramenta analítica para realizar uma pesquisa vetorial em dados de um banco de dados não relacional. Historicamente, a movimentação de dados exigia que os clientes arquitetassem seus próprios pipelines de ETL, que podem ser desafiadores e caros de construir, complexos de gerenciar e propensos a erros intermitentes que atrasam o acesso a insights urgentes.

Serviços de dados

Para ajudar os clientes a obter valor dos seus dados, a AWS oferece um conjunto abrangente de serviços de dados, para que os clientes tenham sempre a ferramenta certa para o trabalho. Mas para colocar os dados no centro dos seus negócios, os clientes precisam ser capazes de conectar todos os seus dados, independentemente de onde eles estejam. É por isso que a AWS investiu em recursos de ETL zero, que eliminam a carga de movimentação manual de dados. Isso inclui recursos de consulta federada no Amazon Redshift e no Amazon Athena, que permitem aos clientes consultar diretamente os dados armazenados em bancos de dados operacionais, Data Warehouses e Data Lakes, como o Data Lake analítico do Amazon Connect, que facilita o acesso dos clientes aos dados da central de contato para análise e aprendizado de máquina.

Ele também inclui novas integrações zero-ETL entre o Salesforce Data Cloud e os serviços de armazenamento, dados e análise da AWS para permitir que os clientes unifiquem seus dados de maneira fácil e contínua no Salesforce e na AWS para obter insights melhores e mais rápidos. As integrações anunciadas hoje baseiam-se na base de ETL zero da AWS para eliminar a carga de construção e manutenção de pipelines de dados, para que os clientes possam conectar de forma rápida e fácil todos os seus dados, não importa onde eles estejam.

As novas integrações zero-ETL do Amazon Aurora PostgreSQL, Amazon DynamoDB e Amazon RDS for MySQL com o Amazon Redshift facilitam a análise de dados transacionais sem criar e manter pipelines de dados: para maximizar o valor obtido com seus dados, muitas organizações desejam migrar seus dados transacionais de vários bancos de dados de alto desempenho, incluindo bancos de dados relacionais, como Aurora e Amazon RDS, e bancos de dados não relacionais, como DynamoDB, em um Data Warehouse como o Amazon Redshift para executar cargas de trabalho de análise e armazenamento de dados de alto desempenho em petabytes de dados. No entanto, esta movimentação de dados exige que os clientes criem pipelines ETL para cada fonte de dados. Para facilitar a análise de dados do Aurora com o Amazon Redshift, a AWS anunciou a disponibilidade geral da integração Aurora MySQL zero-ETL com o Amazon Redshift no início deste ano. Essa integração processa mais de 1 milhão de transações por minuto e disponibiliza os dados no Amazon Redshift segundos após serem gravados no Aurora MySQL. Para ampliar ainda mais os benefícios do ETL zero, a AWS está anunciando a prévia de novas integrações de ETL zero para Aurora PostgreSQL, DynamoDB e Amazon RDS for MySQL com Amazon Redshift. Essas integrações ajudam os clientes a acessar de forma rápida e fácil dados de bancos de dados relacionais e não relacionais populares no Amazon Redshift para análises abrangentes. Os clientes simplesmente selecionam as tabelas de dados que contêm os dados desejados em seus bancos de dados, e eles são replicados automaticamente para o Amazon Redshift. Ao reunir dados de fontes diferentes em um único data warehouse, os clientes podem obter uma visão consolidada de seus negócios e aproveitar os recursos avançados do Amazon Redshift, incluindo compartilhamento de dados, visualizações materializadas e Amazon Redshift ML, para obter insights holísticos e preditivos.

A integração zero-ETL do Amazon DynamoDB com o Amazon OpenSearch Service permite pesquisas de texto completo e vetoriais em dados transacionais quase em tempo real: para otimizar as operações de negócios e criar uma experiência mais envolvente para os usuários, muitos clientes usam o OpenSearch Service para executar funções de pesquisa avançadas (por exemplo, , pesquisa de texto completo e vetorial, classificação de relevância e sugestões de preenchimento automático) em seus dados transacionais no DynamoDB. Por exemplo, uma empresa de comércio eletrônico pode replicar dados do DynamoDB para o OpenSearch Service para usar uma pesquisa vetorial para determinar automaticamente se as transações são fraudulentas, comparando-as com dados de transações semelhantes. Agora, com disponibilidade geral, a nova integração zero-ETL do DynamoDB com o OpenSearch Service torna mais fácil para os clientes executar consultas poderosas de pesquisa de texto completo e vetorial em seus dados do DynamoDB quase em tempo real. Os clientes simplesmente escolhem as tabelas do DynamoDB que contêm os dados que desejam analisar, e os dados são replicados no OpenSearch Service segundos após serem gravados no DynamoDB. Os clientes podem sincronizar dados de várias tabelas do DynamoDB em um cluster gerenciado do OpenSearch Service ou em uma coleção sem servidor para obter insights holísticos em vários aplicativos e consolidar seus ativos de pesquisa, reduzindo seus custos e aumentando a eficiência operacional.

Serviço
aws.amazon.com