Databricks lança o DBRX e cria novo padrão de LLM de código aberto

A Databricks, empresa de dados e IA, anunciou nesta quarta-feira (27/3) o lançamento do DBRX, um grande modelo de linguagem (LLM) de uso geral, que supera todos os modelos de código aberto estabelecidos em benchmarks padrão. O DBRX democratiza o treinamento e o ajuste de LLMs personalizados e de alto desempenho para cada empresa, para que eles não precisem mais depender de um pequeno punhado de modelos fechados. Disponível atualmente, o DBRX permite que organizações em todo o mundo criem, treinem e atendam seus próprios LLMs personalizados de forma econômica.

“Na Databricks, nossa visão sempre foi democratizar dados e IA. Estamos fazendo isso fornecendo inteligência de dados para todas as empresas, ajudando-as a entender e usar seus dados privados para construir seus próprios sistemas de IA. O DBRX é o resultado desse objetivo”, disse Ali Ghodsi, cofundador e CEO da Databricks. “Estamos entusiasmados com o DBRX por três razões principais: primeiro, ele supera os modelos de código aberto em benchmarks de última geração do setor. Em segundo lugar, ele supera o GPT-3.5 na maioria dos benchmarks, o que deve acelerar a tendência que estamos vendo em toda a nossa base de clientes, à medida que as organizações substituem modelos proprietários por modelos de código aberto. Por fim, o DBRX usa uma arquitetura de mistura de especialistas, tornando o modelo extremamente rápido em termos de tokens por segundo, além de ser econômico para servir. Em suma, o DBRX está estabelecendo um novo padrão para LLMs de código aberto — ele oferece às empresas uma plataforma para criar recursos de raciocínio personalizados com base em seus próprios dados”, afirmou.

Segundo informações, o DBRX supera LLMs de código aberto existentes, como Llama 2 70B e Mixtral-8x7B em benchmarks padrão do setor, como compreensão de linguagem, programação, matemática e lógica.

DBRX define um novo padrão para LLMs de código aberto

O DBRX foi desenvolvido pela Mosaic AI e treinado em Nvidia DGX Cloud. A Databricks otimizou o DBRX para eficiência com uma arquitetura de mistura de especialistas (MoE), construída no projeto de código aberto MegaBlocks. O modelo resultante tem desempenho líder e é até duas vezes mais eficiente em termos de computação do que outros LLMs líderes disponíveis.

O DBRX define um novo padrão para modelos de código aberto, permitindo IA generativa personalizável e transparente para todas as empresas. Uma pesquisa recente da Andreessen Horowitz descobriu que quase 60% dos líderes de IA estão interessados em aumentar o uso ou mudar de código aberto quando os modelos de código aberto ajustados correspondem aproximadamente ao desempenho dos modelos de código fechado. Em 2024 e além, as empresas esperam uma mudança significativa de uso de código fechado para código aberto. A Databricks acredita que o DBRX acelerará essa tendência.

Juntamente com as ferramentas unificadas do Databricks Mosaic AI, o DBRX ajuda os clientes a criarem e implementarem rapidamente aplicativos de IA generativa de qualidade de produção que são seguros, precisos e governados, sem abrir mão do controle de seus dados e propriedade intelectual. Os clientes se beneficiam dos recursos integrados de gerenciamento de dados, governança, linhagem e monitoramento na Databricks Data Intelligence Platform.