Databricks AI/BI permite análise inteligente para dados do mundo real

A Databricks, empresa de dados e IA, anunciou o lançamento do Databricks AI/BI, um novo tipo de produto de Business Intelligence (BI) que visa democratizar análises e insights para qualquer pessoa em uma organização. O Databricks AI/BI apresenta duas experiências complementares: uma interface Low-code alimentada por IA para criar e distribuir painéis rápidos e interativos e a Genie, uma interface conversacional para abordar questões ad-hoc e de acompanhamento por meio de linguagem natural.

Ambos os recursos são alimentados por um sistema de IA composto que aprende continuamente com o uso em toda a pilha de dados de uma organização, incluindo pipelines de ETL, linhagem e outras consultas. Isso permite que o Databricks AI/BI  responda a perguntas complexas com precisão e automaticamente, sem a necessidade de configuração inicial ou modelagem associada a ferramentas convencionais.

O Databricks AI/BI marca um passo significativo em direção ao verdadeiro BI de autoatendimento, expandindo substancialmente os tipos de análise que os usuários comuns podem fazer por meio de uma abordagem de IA em primeiro lugar. A inteligência do Databricks AI/BI é habilitada pela Databricks Data Intelligence Platform, que é nativamente integrada para fornecer governança unificada, linhagem, compartilhamento seguro e desempenho ultrarrápido para todos os tamanhos de dados.

Habilitando o autoatendimento por meio de IA generativa

Hoje, as ferramentas de BI permitem que as organizações forneçam acesso básico aos dados por meio de relatórios e painéis, mas só podem abordar as perguntas específicas que foram projetadas para responder. Mudanças nos dados ou nas condições de negócios constantemente provocam novas questões que exigem a escassa experiência de cientistas e analistas de dados. Recentemente, a indústria de BI tem procurado a IA generativa para resolver esse problema, adicionando grandes modelos de linguagem (LLMs) em cima de uma pilha de BI convencional.

No entanto, essas tentativas têm falhado em grande parte no mundo real. A abordagem de resolver esse problema passando um conjunto de perguntas de linguagem natural para LLMs para gerar um plano de execução para responder a essas perguntas é fundamentalmente limitada porque os casos de uso do mundo real estão cheios de perguntas de negócios com nuances, dados confusos e semântica mal definida. Em última análise, as soluções de IA “parafuso” podem fornecer demonstrações atraentes, mas são incapazes de trabalhar com perguntas e dados reais.

“Uma solução de BI verdadeiramente inteligente precisa entender a semântica e as nuances únicas de uma empresa para responder efetivamente às perguntas dos usuários corporativos”, disse Ali Ghodsi, cofundador e CEO da Databricks. “Acreditamos que isso requer uma abordagem diferente de como o software de BI foi projetado no passado – uma que coloque um sistema de IA no centro da arquitetura e seja projetado para aproveitar os pontos fortes dos sistemas de IA, bem como complementar seus pontos fracos para enfrentar os desafios de entender e aprender essas nuances. O lançamento do Databricks AI/BI é um passo para a construção desse sistema”, comentou.

Além dos LLMs Bolt-on

No centro do Databricks AI/BI está um sistema de IA composto que utiliza um conjunto de agentes de IA para raciocinar sobre questões de negócios e gerar respostas úteis. Cada agente é responsável por uma tarefa estreita, mas importante, como planejamento, geração de SQL, explicação, visualização e certificação de resultados. Esses agentes também são suportados por outros componentes, como um subsistema de classificação de resposta e um índice vetorial. Juntos, eles fornecem capacidades de raciocínio muito além de qualquer modelo de monólito individual.

O sistema é projetado para aprender continuamente e melhorar seu desempenho com base no feedback humano. Por exemplo, se for informada a definição de um cliente agitado, o Databricks AI/BI não apenas usará esse conhecimento para lidar com consultas semelhantes (por exemplo, clientes agitados na EMEA versus APJ), mas também usará esse conhecimento para calcular a taxa de churn ou inferir o significado de clientes retidos. O Databricks AI/BI persiste esse conhecimento além de uma única análise ou conversa para ficar cada vez melhor, assim como um analista humano. Além disso, ele aprende com outras informações sobre os dados de uma organização na plataforma Databricks, como pipelines de ETL, linhagem, estatísticas de popularidade e outras consultas sobre os dados.

Este sistema alimenta duas interfaces complementares:

Painéis de AI/BI: uma solução de dashboard Low-code alimentada por IA que inclui os recursos convencionais de BI que os usuários esperariam prontos para uso, para responder a um conjunto fixo de perguntas de negócios; e

AI/BI Genie: uma interface conversacional que pode aprender os dados subjacentes e a semântica continuamente com base no feedback humano e pode responder a um conjunto muito mais amplo de perguntas de negócios com base em seus recursos de raciocínio, enquanto ainda fornece respostas certificadas para padrões de consulta especificados pelas equipes de dados.

O Databricks AI/BI é construído sobre si e totalmente integrado com a Plataforma de Inteligência de Dados. Os benefícios incluem:

Governança e linhagem unificadas: o Databricks AI/BI está profundamente integrado ao Databricks Unity Catalog. Ele segue a mesma estrutura de governança, e quaisquer políticas globais definidas pelos administradores serão aplicadas em AI/BI. E graças à capacidade de linhagem do Unity Catalog, os produtores ou administradores de dados podem observar como seus ativos de dados são usados pelo Databricks AI/BI, e os usuários finais podem confiar mais em suas análises, pois podem rastrear as origens de seus conjuntos de dados até a ingestão de dados.

Compartilhamento sem esforço, sem novas licenças de usuário: o Databricks AI/BI é integrado diretamente à plataforma Databricks IAM, que se integra diretamente com IDPs como Entra, AD ou Okta para permitir o compartilhamento seguro.

Preço-desempenho líder do setor: o Databricks AI/BI é totalmente integrado aos Data Warehouses SQL da Databricks e ao mecanismo Photon, que contêm otimizações exclusivas para oferecer interações de alto desempenho. Ele fornece preço-desempenho líder do setor em volumes de dados, de megabytes a petabytes.

Nenhuma extração de dados necessária: consequentemente, o Databricks AI/BI não requer a extração dos conjuntos de dados de interesse para um mecanismo de BI separado, levando a uma melhor atualização dos dados, bem como a uma governança mais simples.