A IA pronta para os negócios começa com os dados prontos para a IA

Até 2026, mais de 80% das empresas implementarão APIs de IA ou aplicativos de IA generativa. Os modelos de IA e os dados nos quais eles são treinados e ajustados podem elevar os aplicativos de genéricos a impactantes, oferecendo valor tangível para clientes e empresas. “Habilitar dados como um diferencial para a IA requer um equilíbrio entre tecnologia, pessoas e processos. Para escalar casos de uso de IA, primeiro você precisa entender seus objetivos estratégicos para seus dados, que provavelmente mudaram por causa da IA generativa. Alinhe sua estratégia de dados a uma arquitetura avançada, com considerações para investimentos em tecnologia existentes, governança e gerenciamento autônomo integrados. Procure a IA para ajudar a automatizar tarefas como integração de dados, classificação de dados, organização e marcação. Isso exigirá que você evolua seus processos de gerenciamento de dados e atualize os caminhos de aprendizado”, explicou Minaz Merali (foto), vice-presidente de Gerenciamento de Produtos, Dados e IA da IBM, em um artigo publicado no blog da empresa.

Para uma estratégia bem-sucedida de IA, Minaz elenca algumas providências:

1. Modernizando sua infraestrutura de dados para Nuvem híbrida para aplicativos, análises e geração de IA

A adoção de estratégias Multicloud e híbridas está se tornando obrigatória, exigindo bancos de dados que suportem implementações flexíveis em toda a Nuvem híbrida. O Gartner prevê que 95% das novas iniciativas digitais serão desenvolvidas em plataformas nativas da Nuvem, essenciais para tecnologias de IA que exigem armazenamento e escalabilidade massivos de dados.

2. Potencializando aplicativos orientados por dados, análises e IA com os bancos de dados certos e a estratégia de Data Lakehouse aberta

Para armazenar e analisar dados, você deve usar o banco de dados certo para a carga de trabalho, os tipos de dados e o desempenho de preço corretos. Isso garante que você tenha uma base de dados que cresça de acordo com suas necessidades de dados, onde quer que seus dados residam. Sua estratégia de dados deve incorporar bancos de dados projetados com componentes abertos e integrados, permitindo a unificação perfeita e o acesso a dados para análises avançadas e aplicativos de IA em uma plataforma de dados. Isso permite que sua organização extraia insights valiosos e impulsione a tomada de decisões informadas.

Para potencializar as cargas de trabalho de IA e análise em seus bancos de dados transacionais e criados especificamente para esse fim, você deve garantir que eles possam se integrar perfeitamente a uma arquitetura de Data Lakehouse aberta sem duplicação ou processos adicionais de extração, transformação e carga (ETL). Com um Data Lakehouse aberto, você pode acessar uma única cópia de dados onde quer que seus dados residam.

Um Lakehouse de dados abertos lida com vários formatos abertos (como o Apache Iceberg sobre armazenamento de objetos na nuvem) e combina dados de várias fontes e repositórios existentes na nuvem híbrida. O data lakehouse de melhor desempenho em termos de preço também permite a separação de armazenamento e computação com vários mecanismos de consulta de código aberto e integração com outros mecanismos de análise para otimizar as cargas de trabalho para um desempenho de preço superior.

Antes de criar IA generativa confiável para sua empresa, você precisa da arquitetura de dados certa para preparar e transformar esses dados díspares em dados de qualidade. Para IA generativa, a base de dados certa pode incluir vários armazenamentos de conhecimento abrangendo bancos de dados NoSQL para conversas, bancos de dados transacionais para dados contextuais, uma arquitetura Data Lakehouse para acessar e preparar seus dados para IA e análise e recursos de incorporação vetorial para armazenar e recuperar incorporações para geração aumentada de recuperação (RAG). Uma camada de metadados compartilhada, governança para catalogar seus dados e linhagem de dados permitem saídas de IA confiáveis.

3. Estabelecendo uma base de confiança: qualidade de dados e governança para IA corporativa

À medida que as organizações dependem cada vez mais da IA para conduzir a tomada de decisões críticas, a importância da qualidade e da governança dos dados não pode ser exagerada. De acordo com o Gartner, espera-se que 30% dos projetos de IA generativa sejam abandonados até 2025 devido à baixa qualidade dos dados, controles de risco inadequados, custos crescentes ou valor de negócios pouco claro. As consequências do uso de dados de baixa qualidade são de longo alcance, incluindo a erosão da confiança do cliente, a não conformidade regulatória e danos financeiros e reputacionais.

Uma gestão eficaz da qualidade dos dados é crucial para mitigar esses riscos. Uma estratégia de arquitetura de dados bem desenhada é essencial para atingir esse objetivo. Uma malha de dados fornece uma estrutura robusta para que os líderes de dados criem o perfil dos dados, projetem e apliquem regras de qualidade de dados, descubram violações da qualidade dos dados, limpem os dados e aumentem os dados. Essa abordagem garante que as iniciativas de qualidade de dados ofereçam precisão, acessibilidade, pontualidade e relevância.

4. Gerenciando e fornecendo dados para IA

Os dados são fundamentais para a IA, desde a construção de modelos de IA com os conjuntos de dados certos até o ajuste de modelos de IA com dados corporativos específicos do setor e o uso de incorporações vetorizadas para construir aplicativos RAG AI (incluindo chatbots, sistemas de recomendação personalizados e aplicativos de pesquisa de similaridade de imagem).

Dados confiáveis e governados são essenciais para garantir a precisão, relevância e precisão da IA. Para desbloquear o valor total dos dados para IA, as empresas devem ser capazes de navegar em seus complexos cenários de TI para quebrar silos de dados, unificar seus dados e preparar e fornecer dados confiáveis e governados para seus modelos e aplicativos de IA.

Com uma arquitetura de Data Lakehouse aberta alimentada por formatos abertos para se conectar e acessar dados críticos de seu data estate existente (incluindo Data Warehouses, Data Lakes e ambientes de mainframe), você pode usar uma única cópia de seus dados corporativos para criar e ajustar modelos e aplicativos de IA.

Com uma camada semântica, você pode gerar enriquecimentos de dados que permitem que os clientes encontrem e entendam dados previamente enigmáticos e efetivamente estruturados em todo o seu estado de dados em linguagem natural por meio da pesquisa semântica para acelerar a descoberta de dados e desbloquear insights de dados mais rapidamente, sem a necessidade de SQL.

Usando um banco de dados vetorial incorporado diretamente em seu Data Lakehouse, você pode armazenar e consultar seus dados perfeitamente como incorporações vetorizadas para casos de uso do RAG, melhorando a relevância e a precisão de suas saídas de IA.