Nvidia: TensorRT 8 apresenta IA de conversação mais inteligente e interativa, da Nuvem à Borda

Notadamente mais conhecida pelo hardware, a parte de software, porém, também engrossa o portfólio de ofertas da Nvidia, tanto que nesta terça-feira, 20, a fabricante anunciou globalmente a oitava geração do TensorRT, software de Inteligência Artificial – IA. De acordo com a companhia o produto é duas vezes mais potente e preciso que seu antecessor, o TensorRT 7, e pode reduzir drasticamente a quantidade de computação e memória necessária para executar aplicativos. A promessa é de reduzir pela metade o tempo de inferência para consultas de idiomas e permitir a criação de mecanismos de busca, recomendações de anúncios e chatbots e oferecê-los da Nuvem à Borda.

De acordo com analistas, os modelos de linguagem estão cada vez mais complexos e a demanda por aplicativos em tempo real que lançam mão da tecnologia de IA vem aumentando em todo o mundo. Portanto, é imperativo que as empresas implementem soluções de inferência de última geração, um grande filão para a Nvidia.

Nesse sentido, a versão mais recente do TensorRT apresenta novos recursos que permitem às empresas fornecer a seus clientes, aplicativos de IA de conversação com um nível de qualidade e capacidade de resposta que antes não era possível. A oitava geração do software chega com velocidade recorde para aplicativos de linguagem, executando em 1,2 milissegundos o modelo baseado em transformador, Bert-Large. Antes, era preciso reduzir o tamanho do modelo, o que implicava em resultados significativamente menos precisos. “Agora, com o TensorRT 8, as empresas podem dobrar ou triplicar o tamanho do modelo para obter melhorias dramáticas na precisão”, destaca Greg Estes, vice-presidente de Programas para Desenvolvedores da Nvidia. Ele lembra que o lançamento está disponível gratuitamente para os membros do programa Nvidia Developer e o repositório GitHub também tem as versões mais recentes de plug-ins.

Siddharth Sharma, líder de Marketing para produtos do software de IA da Nvidia, afirma que o TensorRT foi baixado mais de 2,5 milhões de vezes e está em uso por empresas como American Express, Verizon, LG, Ford, SK Telecom, KLA, Naver, GE Healthcare e USPS. O produto é usado em setores como Saúde, Automotivo, Manufatura, Serviços de Internet, Telecomunicações, Serviços Financeiros e de Energia.