ServiceNow lança LLMs de acesso aberto para criação de aplicativos corporativos

A ServiceNow, a Hugging Face e a Nvidia anunciaram hoje o lançamento do StarCoder2, uma família de modelos de linguagem grande (LLMs) de acesso aberto para geração de código, que define novos padrões de desempenho, transparência e economia.

O StarCoder2 foi desenvolvido pela comunidade BigCode, administrada pela ServiceNow, empresa líder em fluxo de trabalho digital que faz o mundo funcionar melhor para todos, e pela Hugging Face, plataforma de código aberto mais usada , na qual a comunidade de aprendizado de máquina colabora em modelos, conjuntos de dados e aplicativos.

Treinado em 619 linguagens de programação, o StarCoder2 pode ser incorporado a aplicativos corporativos para executar tarefas especializadas, como geração de código-fonte e fluxo de trabalho, resumo de texto e muito mais. Os desenvolvedores podem usar os recursos de autocompletar código, resumo avançado, recuperação de trechos, entre outros, para acelerar a inovação e aumentar a produtividade.

O StarCoder2 oferece modelos de três tamanhos: um com 3 bilhões de parâmetros treinado pela ServiceNow, outro com 7 bilhões de parâmetros treinado pela Hugging Face e o terceiro com 15 bilhões de parâmetros criado pela Nvidia com o Nvidia NeMo e treinado na infraestrutura acelerada da Nvidia. As variantes menores oferecem um desempenho poderoso e economizam nos custos de computação, pois parâmetros menores exigem menos computação durante a inferência. A exemplo, o novo modelo StarCoder2 de 3 bilhões de parâmetros também corresponde ao desempenho do modelo StarCoder original de 15 bilhões de parâmetros.

“O StarCoder2 é uma prova do poder combinado da colaboração científica aberta e das práticas responsáveis de IA com uma cadeia de fornecimento de dados éticos”, explica Harm de Vries, líder da equipe de desenvolvimento do StarCoder2 da ServiceNow e co-líder do BigCode. “O modelo de acesso aberto de última geração melhora o desempenho anterior da IA generativa para aumentar a produtividade do desenvolvedor, e oferece acesso igual aos benefícios da IA de geração de código, o que, por sua vez, permite que organizações de qualquer tamanho atinjam mais facilmente todo o seu potencial de negócios.”

“Os esforços conjuntos liderados pela Hugging Face, ServiceNow e Nvidia permitem o lançamento de modelos poderosos que capacitam a comunidade a criar uma ampla gama de aplicativos de forma mais eficiente com total transparência de dados e treinamento”, diz Leandro von Werra, engenheiro de aprendizado de máquina da Hugging Face e co-líder do BigCode. “O StarCoder2 é uma prova do potencial da ciência aberta e de código aberto enquanto trabalhamos para democratizar a IA responsável.”

“Como todo ecossistema de software tem uma linguagem de programação proprietária, os LLMs de código podem impulsionar avanços em eficiência e inovação em todos os setores”, disse Jonathan Cohen, vice-presidente de pesquisa aplicada da Nvidia. “A colaboração da Nvidia com a ServiceNow e a Hugging Face apresenta modelos seguros e desenvolvidos de forma responsável, além de apoiar um acesso mais amplo à IA geradora responsável que, esperamos, beneficiará a comunidade global”.

O aperfeiçoamento aprimora os recursos com dados específicos da empresa

Os modelos StarCoder2 compartilham uma arquitetura de última geração e fontes de dados cuidadosamente selecionadas do BigCode que priorizam a transparência e a governança aberta para permitir a inovação responsável em escala.

A base do StarCoder2 é um novo conjunto de dados de código chamado The Stack v2, que é sete vezes maior do que o The Stack v1. Além do conjunto de dados avançado, novas técnicas de treinamento ajudam o modelo a entender linguagens de programação de poucos recursos (como Cobol), matemática e discussões de código-fonte de programas.

O StarCoder2 aumenta o potencial de futuros aplicativos de codificação orientados por IA, incluindo recursos de texto para código e para fluxo de trabalho. Com um treinamento de programação mais amplo e aprofundado, ele fornece contexto de repositório, permitindo previsões precisas e com reconhecimento de contexto. Esses avanços atendem tanto a engenheiros de software experientes quanto a desenvolvedores cidadãos, acelerando o valor comercial e a transformação digital.

Os usuários podem ajustar os modelos de acesso aberto com dados específicos do setor ou da organização usando ferramentas de código aberto, como o Nvidia NeMo ou o Hugging Face TRL.
As organizações já ajustaram o modelo básico do StarCoder para criar recursos especializados para tarefas específicas de seus negócios.

O LLM Text-to-Code Now da ServiceNow foi desenvolvido com base em uma versão especializada do LLM StarCoder de 15 bilhões de parâmetros, ajustado e treinado para padrões de fluxo de trabalho, casos de uso e processos da ServiceNow. A Hugging Face também usou o modelo para criar seu assistente StarChat.

O BigCode promove a colaboração científica aberta em IA

O BigCode representa uma colaboração científica aberta liderada conjuntamente pela Hugging Face e pela ServiceNow. Sua missão se concentra no desenvolvimento responsável de LLMs para código.

A comunidade do BigCode participou ativamente dos aspectos técnicos do projeto StarCoder2 por meio de grupos de trabalho e forças-tarefa, aproveitando a estrutura Fast LLM da ServiceNow para treinar o modelo de 3 bilhões de parâmetros, a estrutura de nanotron da Hugging Face para o modelo de 7 bilhões de parâmetros e a estrutura nativa do Nvidia NeMo cloud de ponta a ponta e o software Nvidia TensorRT-LLM para treinar e otimizar o modelo de 15 bilhões de parâmetros.

A promoção da inovação responsável está no centro do propósito do BigCode, demonstrada por meio de sua governança aberta, cadeia de suprimentos transparente, uso de software de código aberto e a capacidade de os desenvolvedores optarem por não usar dados para treinamento. O StarCoder2 foi criado usando dados de origem responsável sob licença do patrimônio digital do Software Heritage, hospedado pela Inria.

“O StarCoder2 é o primeiro modelo de IA de geração de código desenvolvido usando o arquivo de código-fonte do Software Heritage e construído para se alinhar às nossas políticas de desenvolvimento responsável de modelos para código”, afirma Roberto Di Cosmo, diretor do Software Heritage. “A colaboração da ServiceNow, da Hugging Face e da Nvidia exemplifica um compromisso compartilhado com o desenvolvimento ético da IA, avançando a tecnologia para o bem maior”.

O StarCoder2, assim como seu antecessor, será disponibilizado sob a licença BigCode Open RAIL-M, permitindo acesso e uso livres de royalties. Além disso, o código de suporte para os modelos reside na página GitHub do projeto BigCode.

Todos os modelos StarCoder2 também estarão disponíveis para download na Hugging Face e o modelo StarCoder2 15B está disponível nos modelos da Nvidia AI Foundation para que os desenvolvedores façam experiências diretamente no navegador ou por meio de um ponto de extremidade da API.
Para mais informações sobre o StarCoder2, acesse: https://huggingface.co/bigcode.

Declarações prospectivas da Nvidia
Certas declarações neste comunicado de imprensa, incluindo, mas não se limitando a, declarações sobre: os benefícios, o impacto e o desempenho dos produtos, serviços e tecnologias da Nvidia, incluindo o Nvidia NeMo e o Nvidia TensorRT-LLM; os benefícios e o impacto da colaboração da Nvidia com a ServiceNow e a Hugging Face, e os recursos e a disponibilidade de seus serviços e ofertas são declarações prospectivas que estão sujeitas a riscos e incertezas que podem fazer com que os resultados sejam materialmente diferentes das expectativas. Fatores importantes que podem fazer com que os resultados reais sejam materialmente diferentes incluem: condições econômicas globais; nossa dependência de terceiros para fabricar, montar, embalar e testar nossos produtos; o impacto do desenvolvimento tecnológico e da concorrência; desenvolvimento de novos produtos e tecnologias ou aprimoramentos de nossos produtos e tecnologias existentes; aceitação pelo mercado de nossos produtos ou dos produtos de nossos parceiros; defeitos de projeto, fabricação ou software; mudanças nas preferências ou demandas dos consumidores; mudanças nos padrões e interfaces do setor; perda inesperada de desempenho de nossos produtos ou tecnologias quando integrados a sistemas; bem como outros fatores detalhados periodicamente nos relatórios mais recentes que a Nvidia apresenta à Comissão de Valores Mobiliários (SEC), incluindo, entre outros, seu relatório anual no Formulário 10-K e relatórios trimestrais no Formulário 10-Q. Cópias dos relatórios arquivados na SEC são publicadas no site da empresa e estão disponíveis na Nvidia sem custo. Essas declarações prospectivas não são garantias de desempenho futuro e se referem apenas à data deste documento e, exceto conforme exigido por lei, a Nvidia se isenta de qualquer obrigação de atualizar essas declarações prospectivas para refletir eventos ou circunstâncias futuras.
© 2024 Nvidia Corporation. Todos os direitos reservados. Nvidia, o logotipo da Nvidia, Nvidia NeMo e Nvidia TensorRT-LLM são marcas comerciais e/ou marcas registradas da Nvidia Corporation nos Estados Unidos e em outros países. Outros nomes de empresas e produtos podem ser marcas comerciais das respectivas empresas às quais estão associados. Recursos, preços, disponibilidade e especificações estão sujeitos a alterações sem aviso prévio.

Declarações prospectivas da ServiceNow
Este comunicado à imprensa contém “declarações prospectivas” sobre as expectativas, crenças, planos e intenções relacionadas ao lançamento de um novo LLM de acesso aberto para geração de código. Tais declarações incluem afirmações relacionadas a futuros recursos e ofertas de produtos e benefícios esperados para a ServiceNow. As declarações prospectivas estão sujeitas a riscos e incertezas conhecidos e desconhecidos e são baseadas em suposições potencialmente imprecisas que podem fazer com que os resultados reais difiram materialmente daqueles esperados ou implícitos nas declarações prospectivas. Se qualquer um desses riscos ou incertezas se materializar ou se qualquer uma das suposições se mostrar incorreta, os resultados da ServiceNow poderão diferir materialmente dos resultados expressos ou implícitos nas declarações prospectivas feitas. A ServiceNow não assume nenhuma obrigação, e não pretende, atualizar as declarações prospectivas. Os fatores que podem fazer com que os resultados reais sejam materialmente diferentes daqueles apresentados em quaisquer declarações prospectivas incluem: (i) atrasos e dificuldades e despesas inesperadas na execução da parceria ou na entrega dos recursos e ofertas de produtos, (ii) mudanças no cenário regulatório relacionado à IA e (iii) incerteza sobre se as vendas justificarão os investimentos nos recursos e ofertas de produtos. Mais informações sobre fatores que podem afetar os resultados financeiros e outros resultados da ServiceNow estão incluídas nos registros que a ServiceNow faz com a Comissão de Valores Mobiliários de tempos em tempos.
© 2024 ServiceNow, Inc. Todos os direitos reservados. ServiceNow, o logotipo da ServiceNow, Now e outras marcas da ServiceNow são marcas comerciais e/ou marcas registradas da ServiceNow, Inc. nos Estados Unidos e/ou em outros países. Outros nomes de empresas, nomes de produtos e logotipos podem ser marcas comerciais das respectivas empresas às quais estão associados.