Estudo do BCG afirma que a GenAI potencializa as habilidades humanas

A IA generativa (GenAI) está criando um novo tipo de trabalhador do conhecimento que pode codificar mais rapidamente e resumir documentos instantaneamente. Mas a ferramenta também pode permitir que as pessoas atendam às demandas em constante mudança de suas funções? Um novo estudo conduzido pelo BCG Henderson Institute, em colaboração com o BCG X e a Emma Wiles da Universidade de Boston, afirma que a GenAI vai além de aumentar a produtividade. Ela expande as capacidades, examinando o que acontece quando, em vez de usar a GenAI para melhorar o desempenho dentro de seu conjunto de habilidades atual, as pessoas usam a tecnologia para concluir tarefas além de suas capacidades existentes.

No estudo, 480 consultores do BCG concluíram duas das três tarefas curtas que imitam as atividades diárias de um cientista de dados: escrever código Python para mesclar e limpar conjuntos de dados, criar um modelo preditivo e validar análises estatísticas geradas pelo ChatGPT. Essas tarefas foram projetadas para apresentar um desafio significativo para qualquer consultor e não puderam ser totalmente automatizadas pela ferramenta GenAI (Enterprise ChatGPT com GPT-4 e seu recurso avançado de análise de dados). Para ajudar a avaliar o desempenho dos participantes, seus resultados foram comparados com os de 44 cientistas de dados do BCG que trabalharam sem a assistência da GenAI.

“Nossas descobertas sugerem que os trabalhadores aprimorados com GenAI podem lidar habilmente com novas tarefas além de suas habilidades existentes em áreas que estão nos recursos da ferramenta”, disse Dan Sack, diretor administrativo e sócio do BCG e coautor do estudo. “Os executivos precisam estar prontos para esse futuro, redefinindo a experiência e identificando as habilidades para crescer e reter seus talentos a longo prazo”, afirmou.

Expansão instantânea de habilidades para novas tarefas

Ao usar a GenAI, os consultores do estudo foram capazes de expandir instantaneamente sua aptidão para novas tarefas. Mesmo quando não tinham experiência em codificação ou estatística, os consultores com acesso à GenAI foram capazes de escrever código, aplicar adequadamente modelos de aprendizado de máquina e corrigir processos estatísticos errôneos. A maior expansão de habilidades foi observada na codificação, onde os participantes foram testados em sua capacidade de escrever código em Python, uma linguagem de programação comum por cientistas de dados. Os participantes que usaram a GenAI alcançaram uma pontuação média equivalente a 86% do benchmark definido pelos cientistas de dados, uma melhoria de 49 pontos percentuais em relação aos participantes que não usaram a GenAI. O grupo aprimorado com GenAI também terminou a tarefa cerca de 10% mais rápido do que os cientistas de dados.

GenAI como um poderoso parceiro de brainstorming

Para a tarefa de análise preditiva, os participantes do experimento encontraram um desafio significativo: nem eles nem a ferramenta GenAI tinham um alto nível de proficiência nessa área. A análise preditiva foi a tarefa que o consultor aprimorado pela GenAI tinha menos probabilidade de realizar no mesmo nível de um cientista de dados, independentemente da experiência anterior em codificação ou estatística, pois a ferramenta GenAI provavelmente entenderá mal o prompt de confiabilidade sem tentativa e erro ou reformulação da pergunta. Como resultado, os participantes com acesso à GenAI eram mais propensos a serem desviados do que seus colegas não aumentados.

Com o apoio da GenAI, os participantes puderam fazer um brainstorming com a ferramenta, combinando seus conhecimentos com o conhecimento da GenAI para descobrir novas técnicas de modelagem e identificar as etapas corretas para resolver o problema com sucesso. Os participantes aumentados com GenAI tinham 15 pontos percentuais mais probabilidade de selecionar e aplicar adequadamente métodos de aprendizado de máquina do que seus colegas que não tinham acesso à GenAI.

“Fazer GenAI” não significa aprender a fazer

A requalificação é definida como indivíduos que adquirem novas capacidades ou conhecimentos que lhes permitem mudar para um novo emprego ou setor. O estudo revelou que os trabalhadores aumentados com GenAI eram, de certa forma, “requalificados”, pois ganharam novas capacidades que estavam além do que o humano ou a GenAI poderiam fazer por conta própria. Mas a GenAI era apenas um exoesqueleto; os humanos sozinhos não eram intrinsecamente requalificados, porque “fazer” com GenAI não significa imediata nem inerentemente “aprender a fazer”.

Embora cada participante tenha recebido apenas duas das três tarefas do experimento, todos receberam uma avaliação final com perguntas relacionadas a todas as três tarefas para testar o quanto aprenderam. Todos responderam a uma pergunta de sintaxe de codificação, embora nem todos os participantes tivessem feito uma tarefa de codificação. Surpreendentemente, aqueles que fizeram essa tarefa pontuaram o mesmo que aqueles que não o fizeram, indicando que a execução das tarefas de ciência de dados não aumentou seu conhecimento. Ressalta-se que os participantes não foram informados de que seriam testados, e é provável que com repetição e intenção, o aprendizado acontecesse.

Além disso, os participantes aumentados pela GenAI com experiência moderada em codificação tiveram um desempenho 10 a 20 pontos percentuais melhor em todas as três tarefas do que seus pares que se identificaram como novatos, mesmo quando a codificação não estava envolvida. Na verdade, aqueles com experiência moderada em codificação estavam totalmente no mesmo nível dos cientistas de dados para duas das três tarefas – uma das quais não tinha codificação envolvida.

“Como pai, muitas vezes me perguntam o que as crianças devem estudar, e é algo em que penso quando se trata de meus próprios filhos”, disse Sack. “Esta pesquisa reforçou minha crença de que aprender a codificar tem um valor significativo, mesmo que a opinião predominante sugira que a codificação pode ser coisa do passado. É a mentalidade de engenharia que a codificação ajuda a desenvolver – como a capacidade de dividir problemas complexos em partes gerenciáveis que podem ser testadas e refinadas com eficiência – que realmente importa”, finalizou.