Databricks apresenta OpenSharing, padrão aberto para compartilhamento de Dados

Hospedado pela Linux Foundation, o OpenSharing é a próxima evolução do Delta Sharing, o protocolo aberto mais amplamente adotado para compartilhamento seguro de Dados sem cópia, usado por empresas como Amadeus, Atlassian, LSEG, SAP, Stripe, TheTradeDesk e milhares de outras organizações.

O OpenSharing apresenta o primeiro protocolo aberto e sem dependência de fornecedores para o compartilhamento seguro de ativos de IA, incluindo capacidades de agentes, modelos de IA e Dados não estruturados, permitindo a colaboração segura e a monetização de ativos na era da IA.

O OpenSharing amplia o vasto ecossistema multiplataforma do Delta Sharing ao adicionar suporte a clientes Iceberg IRC, expandindo o alcance dos provedores de Dados para mais destinatários.

Os clientes agora também podem acessar ativos locais ou em Nuvem privada por meio do OpenSharing, inclusive através de parceiros de armazenamento como Everpure, MinIO e Qumulo.

A Databricks, empresa de Dados e IA, anunciou o OpenSharing, a próxima evolução do protocolo de código aberto Delta Sharing para a era dos agentes de IA. Em 2021, a Databricks foi pioneira em protocolos abertos de compartilhamento de dados com o Delta Sharing, um subprojeto do projeto de código aberto Delta Lake.

Atualmente, o Delta Sharing é o protocolo aberto de compartilhamento de Dados mais adotado do mercado, utilizado por milhares de clientes e parceiros para colaboração, compartilhamento e monetização de Dados de forma segura. Agora, o OpenSharing é o próximo capítulo: um projeto da Linux Foundation e o primeiro protocolo aberto a abranger capacidades de agentes, modelos de IA e Dados não estruturados. O OpenSharing expande ainda mais o ecossistema de colaboração multiplataforma, adicionando suporte para clientes Iceberg IRC, permitindo que os provedores de ativos alcancem um novo conjunto de destinatários. Com novos parceiros de armazenamento local adotando o OpenSharing, os clientes agora podem conectar seus ativos locais diretamente às plataformas em Nuvem, sem movimentação de Dados. O projeto OpenSharing já está disponível no GitHub.

“O Delta Sharing provou que a indústria escolheria o modelo aberto em vez do modelo fechado”, disse Matei Zaharia, Cofundador e CTO da Databricks. “O OpenSharing estende esse princípio a toda a infraestrutura de IA, ao mesmo tempo que expande o ecossistema multiplataforma para destinatários do Iceberg e provedores locais. A era da inteligência artificial merece uma base aberta, e o OpenSharing a entrega.”

O que o OpenSharing permite
Primeiro protocolo aberto para compartilhamento de ativos de IA: antes do OpenSharing, não existia uma maneira padronizada de compartilhar capacidades de agentes ou modelos de IA entre organizações, o que obrigava as empresas a depender de integrações personalizadas caras ou marketplaces de fornecedor único. Agora, as empresas publicam capacidades de agentes e modelos de IA por meio de um único protocolo aberto que qualquer parceiro pode utilizar, com APIs padrão para descoberta, autorização e acesso, independentemente da plataforma. Por exemplo, um provedor de dados pode compartilhar uma habilidade proprietária com seus clientes para tornar seus dados facilmente utilizáveis pelos agentes. Em vez de entregar manualmente arquivos que precisam ser copiados para cada cliente e constantemente atualizados, o OpenSharing permite acesso contínuo e seguro, sem necessidade de cópia, às capacidades de agentes diretamente na fonte.

Publique uma vez, alcance todos os clientes: os Dados estruturados estiveram, por muito tempo, restritos a formatos proprietários, criando dependência de fornecedor. O Delta Sharing permitiu que empresas e provedores de Dados rompessem com os silos de plataforma e colaborassem entre Nuvens, regiões e plataformas, com os clientes recebendo compartilhamentos por meio da Databricks, Apache Spark, Oracle, Power BI, Tableau, Snowflake e muitos outros. Hoje, o OpenSharing expande ainda mais esse ecossistema multiplataforma, adicionando suporte às APIs do Apache Iceberg. Os provedores que usam o OpenSharing agora podem usar o mesmo protocolo de compartilhamento para alcançar um universo maior de consumidores, incluindo aqueles que usam ferramentas nativas do Iceberg.

Trazendo a IA moderna para Dados locais: organizações que precisam manter Dados em infraestruturas locais ou em Nuvens privadas não precisam mais abrir mão dos recursos modernos de IA e análise na Nuvem. Por meio de integrações nativas com parceiros de armazenamento local, as plataformas de nuvem agora podem se conectar diretamente aos Dados locais sem a necessidade de movimentá-los. Os parceiros de armazenamento que oferecem um serviço OpenSharing gerenciado atualmente incluem Everpure, MinIO e Qumulo, e outros parceiros serão adicionados em breve, como Cohesity, Commvault, HPE, NetApp, Nutanix, Rubrik e VAST Data.

Apoio da indústria ao OpenSharing
“Acreditamos em ecossistemas de IA abertos e estamos entusiasmados em colaborar com a Databricks para fornecer uma maneira padronizada e segura de descobrir e autorizar o acesso a ativos de IA”, disse Alexander Embiricos, Chefe de Produtos Enterprise da OpenAI.

“A IA tem o potencial de transformar a forma como a indústria de viagens opera e atende os viajantes, mas somente se for confiável e aplicada de maneira significativa”, disse Vvivi (Rongrong) Hu, Diretora de Estratégia da Amadeus. “Na Amadeus, atuamos como um sistema de registro e camada de execução integrada para o setor, ajudando a orquestrar a IA de forma integrada e escalável em todo o ecossistema de viagens. Estamos animados em trabalhar com a Databricks para ajudar a viabilizar o intercâmbio aberto e seguro de dados e ativos de IA necessários para entregar esse valor.”

“A Atlassian Analytics lançou o compartilhamento de dados, aproveitando o OpenSharing da Databricks para desbloquear o acesso a dados críticos na nuvem para nossos clientes em escala”, disse Ben Jackson, gerente Sênior de Produto do Grupo de Dados e Análise da Atlassian. “Isso proporciona flexibilidade e acelera o tempo de obtenção de insights pelos clientes. O ecossistema de conectores do OpenSharing permite que os clientes alimentem facilmente seus ambientes com dados diretamente do Atlassian Data Lake.”

“Nossos clientes confiam em nossos dados e insights preparados para IA para gerar valor para seus próprios clientes”, disse Ron Lefferts, CEO da Divisão de Dados e Análise da LSEG. “Escolhemos o OpenSharing porque ele está alinhado com nossa estratégia LSEG Everywhere. Ele permite que qualquer cliente use nossos dados em qualquer ferramenta, nuvem ou modelo.”

“As empresas não deveriam ter que escolher entre manter dados sensíveis em seus servidores e usar plataformas modernas de IA e análise para extrair valor deles”, disse AB Periasamy, Cofundador e Co-CEO da MinIO. “O OpenSharing nativo de código aberto no AIStor permite o acesso a Dados que não podem ser movidos. Isso cria uma base para desbloquear o amplo valor da IA, inexplorado nos ambientes de dados corporativos.”

“Escolhemos o OpenSharing para o SAP Business Data Cloud porque é o protocolo aberto para compartilhamento de dados e ativos de IA que nos permite alcançar clientes onde quer que estejam”, disse Senthil Krishnapillai, Vice-Presidente e Chefe de Serviços em Nuvem da SAP. “Estamos entusiasmados em continuar a parceria com a Databricks para estabelecer uma base aberta para a colaboração com foco em IA.”

“Os Dados financeiros são a força vital das operações de nossos clientes, e eles precisam da flexibilidade para analisá-los em seus ambientes preferidos”, disse Emily Sands, líder de Dados e IA da Stripe. “Nossa parceria com a Databricks se baseia em uma visão compartilhada de abertura. A utilização nativa do OpenSharing no Stripe Data Pipeline garante que nossos usuários possam desbloquear, de forma segura e descomplicada, recursos avançados de análise e IA em seus Dados de clientes, faturamento e transações. ”

“Com o Real ID da Acxiom disponível nativamente por meio do protocolo OpenSharing, os profissionais de marketing corporativo podem conectar os Dados diretamente onde eles já estão”, disse Greg Morton, Head of Ecosystem Growth & Industry Partner na Acxiom. “Eles podem tornar seus dados interoperáveis entre identificadores, plataformas, parceiros e nuvens, desbloqueando insights de fontes de Dados de parceiros que seriam inacessíveis de outra forma, para engajamento, análise e mensuração colaborativos e verdadeiramente conectados do público.”

O OpenSharing já está disponível no GitHub.