Avaliar estudos de produtividade antes de cortar a equipe

Duas frases sobre produtividade com IA circulam em comitê, e as duas estão erradas. O estudo da METR (instituto sem fins lucrativos que testa modelos de IA) continua publicado; o que parou em fevereiro de 2026 foi a continuação dele.

Pela primeira frase, estaria provado que a IA deixa desenvolvedores 19% mais lentos. A segunda, mais confortável, diz que o trabalho foi retirado pela instituição que o publicou.

Em 10 de julho de 2025 saiu o experimento, com 16 desenvolvedores e 246 tarefas reais. A página segue no ar, com aviso de resultados desatualizados.

Já a continuação, com 57 desenvolvedores e mais de 800 tarefas, foi suspensa em 24 de fevereiro de 2026. O motivo declarado foi viés de seleção: quem aceitou participar deixou de representar quem se queria medir, como pesquisar satisfação só com clientes fiéis.

Suspender a continuação, retratar um estudo e corrigir um número são atos diferentes. A suspensão do experimento seguinte não alterou o resultado publicado em 2025; uma retratação (a retirada formal do estudo), caso existisse, precisaria de registro próprio.

Mesmo apontando aceleração, as estimativas revisadas não servem de meta. Entre os veteranos, a revisão de fevereiro de 2026 põe o ponto central em 18% mais rápido, com faixa de 38% mais rápido a 9% mais lento.

Nos dois grupos medidos, a faixa atravessa o zero. Quando isso acontece, a leitura honesta é que o efeito pode estar em qualquer direção.

Do outro lado está a DORA (pesquisa anual do Google sobre equipes de software). Entre os cerca de 5.000 profissionais ouvidos em 2025, 30% declaram pouca ou nenhuma confiança no código gerado, e a relação com a estabilidade da entrega segue negativa.

Em três partes cabe a frase que encerra a discussão. O estudo vale para o período que mediu. A continuação foi suspensa por viés de seleção, e suas estimativas não justificam uma meta universal de produtividade.

Sobreviveu um achado: a distância entre percepção e medição. No experimento de 2025, os participantes esperavam ganhar 24% de tempo e, depois de medidos, ainda afirmavam ter ganhado 20%.

Peça a data de campo de todo número de produtividade que alguém citar, e não a data da publicação. Entre as duas costuma haver um ano inteiro de mudança de ferramenta.

Suponha um escritório de advocacia avaliando se a IA dispensa uma contratação. Escolha uma medida de fluxo que a área já registra, como entregas por semana e retrabalho depois da entrega, e compare as duas por um mês. Se nada mudou além da variação normal, a percepção de ganho, que erra por dezenas de pontos, não paga a decisão.