Databricks disponibiliza solução de governança de Dados Open Source

A Databricks, empresa de Dados e IA, anunciou que abriu o código do Unity Catalog, solução no setor de governança de Dados e Inteligência Artificial (IA) para todas Nuvens, formatos e plataformas de Dados. A iniciativa tem como base o compromisso da companhia com ecossistemas abertos, garantindo que os clientes tenham a flexibilidade e o controle que precisam, sem a dependência de fornecedores. Com a novidade, a Databricks inaugura uma nova era para padrões abertos de dados e IA com suporte da Amazon Web Services (AWS), Google Cloud, Microsoft, Nvidia, Salesforce e muito mais.

O Unity Catalog OSS oferece uma interface universal compatível com qualquer formato de Dados e mecanismo de computação, incluindo a habilidade de ler tabelas de clientes Delta Lake, Apache Iceberg e Apache Hudi por meio do Delta Lake UniForm. Ele também é compatível com os padrões de interface Iceberg REST Catalog e Hive Metastore (HMS). A solução ainda fornece governança unificada para Dados tabulares, não tabulares e ativos de IA, como modelos de Machine Learning (ML) e ferramentas de IA Generativas, permitindo que as organizações simplifiquem o gerenciamento em escala.

Unity Catalog: o catálogo líder de Dados e IA
A Databricks lançou o Unity Catalog em 2021 a fim de atender à demanda dos clientes: as empresas precisam de um catálogo interoperável para seus workloads de Dados e IA. Historicamente, as organizações dependiam de múltiplas soluções de finalidade única, criando silos entre plataformas e entre Dados e assets de IA. Tais silos dificultaram a criação de aplicativos modernos de Dados e IA, que combinam Dados tabulares em diferentes formatos de tabela, Dados não estruturados, modelos de ML, índices vetoriais e ferramentas de IA. Os usuários criaram webs complexas para gerenciar esses silos de metadados, copiaram Dados em diferentes locais ou formatos para permitir o acesso por vários mecanismos ou mantiveram soluções de “faça você mesmo”, para sincronizar metadados entre catálogos. Por fim, isso levou ao aumento dos custos e da complexidade, bem como a uma governança fraca e um controle de acesso fragmentado. O Unity Catalog organiza esses silos para mais de 10 mil organizações.

“Nossos clientes adoram o Unity Catalog. Ele permite que eles gerenciem todos os seus tipos de Dados – tabulares, Dados não estruturados e ativos de IA e ML – em uma única fonte dentro da Data Intelligence Platform da Databricks, em vez de juntar várias soluções de finalidade única”, afirma Ali Ghodsi, cofundador e CEO da Databricks. “Nossa plataforma é a única robusta do setor em que todos os Dados estão em um formato aberto por padrão – agora, os metadados e a governança também estão abertos, oferecendo às empresas a solução que precisam no atual cenário de Dados e IA. Estamos animados por abrir o código-fonte do Unity Catalog. Continuaremos a desenvolver o padrão aberto junto aos nossos parceiros”, completou o executivo.

O Unity Catalog OSS é o catálogo unificado pioneiro no setor de Dados e IA. Suas principais funcionalidades incluem:

 Interoperabilidade
 O Unity Catalog OSS oferece uma interface universal compatível com qualquer formato de Dados e mecanismo de computação, incluindo a capacidade de ler tabelas de clientes do Delta Lake, Apache Iceberg e Apache Hudi por meio do Delta Lake UniForm. Ele também é compatível com os padrões de interface Iceberg REST Catalog e Hive Metastore (HMS). O Unity Catalog OSS é interoperável com todas as principais plataformas de Nuvem, incluindo Microsoft Azure, AWS, GCP e Salesforce; mecanismos de computação como Apache Spark, Presto, Trino, DuckDB, Daft, PuppyGraph e StarRocks; e plataformas de Dados e IA, incluindo dbt Labs, Confluent, Eventual, Fivetran, Granica, Immuta, Informatica, LanceDB, LangChain, Tecton e Unstructured.

 Governança unificada
O Unity Catalog OSS permite a governança unificada de Dados tabulares, Dados não tabulares e ativos de IA, como modelos de ML e ferramentas de IA Generativas, permitindo que as organizações simplifiquem gerenciamentos, descobertas e desenvolvimentos em escala.

 Abertura
 Com suas APIs abertas e o servidor de código aberto licenciado Apache 2.0, o Unity Catalog OSS maximiza a flexibilidade e a escolha dos clientes, permitindo ampla interoperabilidade entre vários mecanismos, ferramentas e plataformas.

O que clientes dizem
“A AT&T tem o compromisso de tornar nossos Dados interoperáveis com nossas plataformas. Com o anúncio do open-sourcing do Unity Catalog, somos encorajados pelo passo da Databricks para tornar a governança de lakehouse e o gerenciamento de metadados possíveis por meio de padrões abertos. A flexibilidade para utilizar ferramentas interoperáveis com nossos Dados e ativos de IA, com uma governança consistente, é fundamental para a estratégia da plataforma de Dados da AT&T”, declara Matt Dugan, vice-presidente de plataformas de dados da AT&T.

“A Nasdaq tem orgulho de aproveitar o Unity Catalog da Databricks como parte de nossa estratégia holística de gerenciamento de Dados”, diz Lenny Rosenfeld, vice-presidente de plataformas de acesso a capital da Nasdaq. “A decisão da Databricks de abrir o código do Unity Catalog oferece uma solução que ajuda a eliminar silos de Dados. Estamos ansiosos para expandir ainda mais a nossa plataforma, aprimorar nossa governança e modernizar nossos aplicativos de dados à medida que continuamos a oferecer as melhores experiências aos nossos clientes”, complementa o executivo.

“Na Rivian, a adoção da Data Intelligence Platform da Databricks nos permitiu usar Dados e IA na criação de nossos EAVs de última geração. Estamos entusiasmados com o fato de a Databricks abrir o Unity Catalog e liberar APIs para trazer interoperabilidade em todo o nosso cenário de Dados sem qualquer preocupação com a dependência de fornecedores. Combinado com o suporte para todos os nossos ativos de dados – estruturados e não estruturados, modelos de ML e ferramentas de IA de geração – foi uma decisão fácil padronizar o Unity Catalog”, afirma Jason Shiverick, diretor de plataformas de IA da Rivian.