A tecnologia mudando a vida de pessoas com limitações físicas

Paris Baker (foto), 31 anos, mãe de dois filhos, era uma ginasta acrobática de elite, que representou a Grã-Bretanha e ganhou prata nos campeonatos europeu e mundial. Aos 26 anos, Paris recebeu um diagnóstico de doença do neurônio motor (MND), que causa fraqueza muscular que piora gradualmente ao longo do tempo e leva à incapacidade. Das muitas coisas que mudaram em sua vida, um elemento essencial foi perder a capacidade de jogar videogame com seus filhos. Isso foi, até que ela descobriu MotionInput.

Desenvolvido por acadêmicos e estudantes do departamento de Ciência da Computação da University College London (UCL), em colaboração com Intel, Microsoft e IBM, o UCL MotionInput V3 permite uma computação verdadeiramente sem toque. Com o MotionInput e uma webcam comum, um usuário pode controlar um PC gesticulando com as mãos, cabeça, rosto e corpo inteiro ou usando a fala. O software analisa essas interações e as converte em sinais de mouse, teclado e joystick, fazendo pleno uso do software existente.

A Intel tem um relacionamento de longa data com a UCL para orientar projetos de ciência da computação, diz Phillippa Chick, diretora de Contas globais de Ciências da Saúde e da Vida da Intel UK. “Trabalhamos com o professor Dean Mohamedally, o professor Graham Roberts e a sra. Sheena Visram em projetos de orientação, bem como na estrutura de apoio aos alunos. Essa ideia foi proposta pela equipe da UCL no verão de 2020 como uma série de projetos estudantis da UCL Computer Science IXN [Industry Exchange Network] e surgiu da necessidade de ajudar os profissionais de saúde durante a pandemia de Covid-19, quando era necessário manter computadores compartilhados limpo e livre de germes.” A equipe trouxe a bordo a Dra. Atia Rafiq, médica do NHS GP, para melhorar os requisitos clínicos necessários para os profissionais de saúde da linha de frente.

O MotionInput pode abrir um mundo de casos de uso usando as mãos ou os olhos simultaneamente com a fala. Todos os jogos agora podem ser acessados, o progresso dos movimentos do paciente pode ser registrado na fisioterapia e, em um ambiente hospitalar, os cirurgiões podem fazer anotações por meio de gestos com as mãos e fala sem precisar tocar em um computador. A solução não requer conectividade ou serviço de nuvem, tornando-a muito mais fácil de implementar.

A Intel oferece aos alunos da UCL orientação e tecnologia, incluindo recursos de hardware e software, como o kit de ferramentas OpenVINO da Intel. O kit de ferramentas facilita o desenvolvimento de aplicativos baseados em IA e ajuda a aumentar seu desempenho.

Os modelos pré-treinados fornecidos pelo OpenVINO permitiram o desenvolvimento mais rápido dos vários componentes e recursos do MotionInput, permitindo que os alunos avancem sem treinar seus próprios modelos – normalmente um processo demorado e intensivo em computação.

Costas Stylianou, especialista técnico em Saúde e Ciências da Vida da Intel UK, explica que a otimização significa que o MotionInput V3 “tem várias melhorias de ordem de magnitude em eficiência e uma arquitetura para suportar o crescimento de aplicativos de computação sem toque como um ecossistema”. O desenvolvimento de engenharia de software e arquitetura para V3 foi liderado pelos alunos da UCL, Sinead V. Tattan e Carmen Meinson. Juntos, eles lideraram mais de 50 alunos da UCL em vários cursos de ciência da computação da UCL para desenvolver o trabalho. A equipe também trabalhou com mentores da Microsoft e da IBM, notadamente o Prof. Lee Stott e o Prof. John McNamara.

A solução emprega uma mistura de aprendizado de máquina e modelos de visão computacional para permitir uma interação responsiva. É personalizável, permitindo que o usuário escolha entre uma variedade de módulos, como:

Navegação facial: o usuário pode usar o nariz ou os olhos e um conjunto de expressões faciais para acionar ações como cliques no botão do mouse ou com a fala dizendo “clique”.

Gestos de mão: uma seleção de gestos de mão pode ser reconhecida e mapeada para comandos e atalhos de teclado específicos, movimentos do mouse, sensor multitoque nativo e canetas digitais com profundidade no ar.

Olhar ocular com modos de grade e ímã: para alinhar o cursor em cenários de acessibilidade, um método de calibração automática é implementado para rastreamento ocular que obtém a estimativa do olhar, incluindo um modo de grade e um modo magnético.

Rastreamento de corpo inteiro: os usuários podem definir exercícios físicos e marcar regiões em seu espaço circundante para jogar jogos de computador existentes.

Teclas de atalho de fala e legendas ao vivo: Ask-KITA (Know-It-All) permite que os usuários interajam com o computador a partir de um conjunto de comandos de voz, legendas ao vivo e atalhos de teclado de substituição.

Joypad no ar: os usuários podem jogar com os botões usuais do joypad ABXY no ar com controles de gatilho analógicos.

“O que torna este software tão especial é que ele é totalmente acessível”, diz Phillippa. “O código não requer equipamentos caros para funcionar. Funciona com qualquer webcam padrão, incluindo a do notebook. É apenas um caso de download e você está pronto para começar”, afirma. Como o MotionInput permite a navegação facial usando o nariz, os olhos e a boca, acrescenta Costas, “é ideal para pessoas que sofrem de MND”.

O que vem a seguir

“O projeto continuará e busca colaborar com os setores da indústria. Os acadêmicos e mentores estão analisando o que pode ser feito para expandir os casos de uso e melhorar continuamente a experiência do usuário”, diz Phillippa. “Adoramos trabalhar com os alunos e professores da UCL, pois é inspirador ver o que eles podem fazer com a tecnologia.”

Ou, como diz Paris, enquanto joga videogame com seus filhos, “o potencial da UCL MotionInput para mudar vidas é ilimitado”, conclui.