Pesquisa ressalta impacto do GitHub Copilot Chat na qualidade do código

Este ano, o GitHub, plataforma de software do mundo, lançou o GitHub Copilot Chat, uma atualização da ferramenta de programação em par de Inteligência Artificial (IA) e que também permite usar a linguagem natural para o processo de programação. O recurso também fornece orientações, dicas e até soluções para problemas específicos em tempo real, sem que a pessoa desenvolvedora tenha que sair do Ambiente de Desenvolvimento Integrado (IDE).

A empresa realizou uma nova pesquisa para investigar os impactos do Copilot Chat no trabalho das pessoas desenvolvedoras de software, e constatou que a qualidade do código criado e revisado foi melhor em todos os aspectos com o recurso habilitado, incluindo a redução do tempo necessário para revisar o código.

Principais descobertas
O relatório revelou que 85% das pessoas desenvolvedoras se sentiram mais confiantes com a qualidade do código ao criar com o GitHub Copilot e GitHub Copilot Chat.

Em relação às revisões de código, foram mais práticas e concluídas 15% mais rápido do que sem o GitHub Copilot Chat. Além disso, 88% dos desenvolvedores se sentiram menos frustrados e mais focados no IDE ao utilizar a ferramenta.

Um dos participantes do estudo disse, por exemplo, que não sentiu a necessidade de pesquisar coisas no Google ou Stack Overflow. “Como tenho experiência no setor há mais de uma década, geralmente prefiro codificar com um bloco de notas ou uma plataforma simplista, e o Copilot Chat foi uma ferramenta muito útil para verificar coisas básicas sem que eu precisasse ir ao Google ou ao Stack Overflow. E o Copilot tem uma edição de sintaxe muito boa”, disse o engenheiro sênior de validação de sistemas.

Critérios da pesquisa
Para medir a qualidade do código, o GitHub desenvolveu cinco métricas, que se alinham aos padrões acadêmicos e do setor. Participantes então usaram essas métricas para diferenciar um código forte de um código que os torna mais lentos. As métricas são:

Legível
O código segue as expressões idiomáticas e padrões de nomenclatura da linguagem? Código difícil de ler torna mais difícil de manter, melhorar e documentar.

Reutilizável
O código foi escrito de forma que possa ser reutilizado? A reutilização de código é a base da colaboração do desenvolvedor, já que economiza tempo e energia, além de eliminar silos (informações isoladas) e criar consistência como um todo.

Conciso
O código segue padrões DRY (don’t repeat yourself, ou “não se repita” em tradução livre)? Quanto menos repetitivo for o código, mais fácil será ler, compreender e desenvolver. Códigos complexos podem levar a bugs e problemas difíceis de corrigir.

Sustentável
O código está escrito de forma a tornar a funcionalidade clara, transparente e relevante para o problema em questão? O código sustentável também ajuda na capacidade de pesquisar e reutilizar, e significa que os desenvolvedores minimizam as dependências.

Resiliente
O código prevê e corrige erros? O código resiliente manterá sua funcionalidade, ou então terá interrupção mínima em caso de erros. Isso ajuda a garantir que o código funcione da melhor forma possível.

No geral, quem participou do estudo disse que se sentiu mais confiante porque a codificação se tornou mais fácil, legível, reutilizável, concisa, resiliente, livre de erros e mais fácil de manter com o GitHub Copilot e o GitHub Copilot Chat do que quando não utilizaram os recursos. Além disso, uma porcentagem maior de comentários também foi aceita: quase 70% dos participantes aceitaram comentários de revisores usando o GitHub Copilot Chat, fortalecendo a importância da colaboração.

Os resultados também ressaltam o impacto potencial do dimensionamento do Copilot Chat em equipes de engenharia em organizações maiores. Reduzir o tempo gasto com Pull Requests e revisões de código significa que pessoas desenvolvedoras podem se concentrar em alterações de maior prioridade. E um código de melhor qualidade desde o início garante que o código não precise ser revertido posteriormente, nem exija testes adicionais.

Um dos engenheiros de software que participou do estudo afirmou: “Um dos comentários mais práticos que recebi estava relacionado à compreensão conceitual do meu código – quero que outros desenvolvedores consigam entender o que estou fazendo, então esse foi um bom feedback.”

Impactos no trabalho
No ano passado, outra pesquisa realizada pelo GitHub apontou que as pessoas desenvolvedoras conseguem programar 55% mais rápido ao utilizar o GitHub Copilot. Mas, trabalhar rápido é apenas uma parte do cenário e, em muitos casos, há uma troca entre fazer algo rápido e fazer algo certo. É por isso que, à medida que a IA acelera e continua a escrever código para um número cada vez maior de desenvolvedores, garantir a qualidade desse código é cada vez mais importante.

Esse estudo anterior também descobriu que 60-75% dos desenvolvedores que usam o GitHub Copilot relataram se sentir mais satisfeitos em seu trabalho, menos frustrados ao programar e melhor posicionados para se concentrar em um trabalho mais satisfatório. No estudo deste ano, 88% dos participantes sentiram-se igualmente menos frustrados e mais concentrados. Um dos motivos é que permanecer no IDE significa menos tempo gasto em pesquisas e mais tempo naquele cobiçado estado de fluxo focado.

O GitHub Copilot e o GitHub Copilot Chat foram criados para melhorar a vida das pessoas desenvolvedoras, ajudando na concentração e as capacitando para encontrar mais alegria no trabalho. Os resultados mostram que essas ferramentas de IA estão fazendo isso e muito mais.

Metodologia
O GitHub recrutou 36 participantes com entre 5 e 10 anos de experiência em desenvolvimento de software. No estudo, o objetivo foi simular o processo de criação de código em um ambiente controlado, tendo o código revisado e incorporando as alterações sugeridas na revisão do código. Assim, cada participante foi solicitado a criar o código, revisar o código e, em seguida, revisar as sugestões da revisão do código e incorporar as alterações.

Os participantes criaram e revisaram código com e sem GitHub Copilot Chat (já tinham alguma experiência com o GitHub Copilot e nenhuma experiência com o GitHub Copilot Chat). Também foram solicitados a criar endpoints de API para um serviço HTTP que cria, lê e exclui objetos, também designados aleatoriamente para usar o GitHub Copilot Chat para criar, ler e excluir endpoints de API. Antes de usar o GitHub Copilot Chat, os desenvolvedores assistiram a um breve vídeo sobre sua funcionalidade e criaram uma pull request para seu trabalho no endpoint de criação da API e outra para a parte de leitura e exclusão. Os participantes do estudo não sabiam qual pull request foi criada com ou sem o Copilot, mas foram solicitados a revisá-las e fornecer sugestões sobre como o código poderia ser melhorado. Em seguida, eles avaliaram o processo de condução da revisão com e sem GitHub Copilot Chat. Os revisores então avaliaram a qualidade do código usando a métrica acima, medindo se o código era legível, reutilizável e bem arquitetado.