Qualcomm demonstra IA generativa em plataformas Snapdragon

Durante o Microsoft Build 2023 na semana passada, a Qualcomm Technologies exibiu suas inovações mais recentes em IA no dispositivo, incluindo a exibição de IA generativa em execução em plataformas de computação Snapdragon, bem como novos caminhos para desenvolvedores que criam aplicativos para PCs com Windows 11 equipados com Snapdragon.

“Para que a IA generativa se torne verdadeiramente popular, grande parte da inferência precisará ser executada em dispositivos de ponta”, disse Ziad Asghar, vice-presidente sênior de Gerenciamento de Produtos da Qualcomm Technologies. “Nosso melhor hardware e software de IA da categoria capacita os desenvolvedores a fazer pleno uso de nossos poderosos recursos de IA, oferecendo novas e incríveis experiências de usuário em notebooks, telefones e outros dispositivos equipados com Snapdragon”, observou.

O futuro da IA ​​precisa incluir IA no dispositivo e na Nuvem. A execução de aplicativos de IA no dispositivo melhora a relação custo-benefício, privacidade, personalização e latência. As plataformas Snapdragon incluem um Qualcomm AI Engine dedicado para processar cargas de trabalho de IA com mais eficiência do que quando processadas exclusivamente em CPU ou GPU, tornando a IA no dispositivo possível mesmo em dispositivos pequenos, finos e leves.

Na Microsoft Build, a Qualcomm Technologies mostrará demonstrações e oferecerá ferramentas para ajudar a desenvolver IA generativa na próxima geração de PCs com Windows 11. Stable Diffusion, um modelo de IA geradora de texto para imagem com mais de 1 bilhão de parâmetros, agora roda inteiramente no dispositivo, e a empresa diz que vê um caminho claro para rodar modelos com até 10 bilhões de parâmetros em dispositivos nos próximos meses , incluindo modelos de linguagem grandes (LLMs).

Para aprimorar o Qualcomm AI Stack e ajudar os desenvolvedores a criar a próxima geração de experiências de IA no dispositivo, o Qualcomm AI Engine Direct SDK foi disponibilizado ao público pela primeira vez na Build. Com o ONNX Runtime e Qualcomm AI Stack, é possível executar as cargas de trabalho de IA hoje no Snapdragon 8cx Gen 3 AI Engine, no Surface Pro 9 5G e no Lenovo ThinkPad x13s.

“Tanto o processamento em Nuvem quanto o de dispositivos são necessários para estender a IA ao vasto universo de dispositivos e aplicativos”, disse Pavan Davuluri, vice-presidente corporativo de Windows Silicon and System Integration da Microsoft. “Ao reunir a liderança em IA em Nuvem da Microsoft e os recursos da plataforma Windows com a experiência em IA no dispositivo da Qualcomm Technologies, vamos acelerar as oportunidades para experiências generativas de IA”, garantiu.

A Qualcomm Technologies também mostrou na Build as dramáticas melhorias de desempenho disponíveis quando aplicativos populares são compilados nativamente para Snapdragon, bem como lançará um novo portal de desenvolvedor que coleta ferramentas críticas, recursos e suporte para Windows no desenvolvimento de Snapdragon em um local fácil de usar.

Serviço
www.qualcomm.com