Pesquisadores contestam que a IA tenha passado no teste de Turing; 36 de 37 acharam a máquina

Três pesquisadores argumentam, na revista Philosophy of Science, que a maioria dos experimentos chamados de "teste de Turing" não segue o desenho original de Alan Turing e, por isso, não mostra que uma IA passou nele. Para provar o ponto, refizeram o teste do jeito descrito por Turing. O resultado: 36 de 37 participantes identificaram corretamente o GPT-4-Turbo como a máquina.

O argumento

O artigo é de Diane Proudfoot, Sharon Temtsin e Christoph Bartneck, pesquisadores da Universidade de Canterbury (Nova Zelândia). Eles revisaram escritos de Turing de 1948 a 1952, além de comentários históricos da época.

A conclusão é que elementos populares do teste, como a conversa de cinco minutos e a regra de que a máquina "passa" se enganar 30% dos juízes, não foram critérios de aprovação definidos por Turing. O desenho dele seria um jogo de imitação com três participantes: um interrogador, um humano e uma máquina, com perguntas abertas e sem tempo fixo.

O experimento

Os autores dizem que o trabalho é a primeira implementação experimental desse desenho conceitual. Os participantes conversaram livremente com um humano e com o GPT-4-Turbo, da OpenAI, até se sentirem seguros para dizer qual deles era a máquina.

Os números

• Participaram 37 pessoas.
• 36 identificaram corretamente o GPT-4-Turbo, o que dá 97%.
• 33 participantes (89%) levaram mais de cinco minutos para decidir.
• As conversas duraram em média 14 minutos, e a mais longa chegou a 46.

Os autores sugerem que testes curtos dão pouco tempo para o interrogador verificar se a IA entende de fato um assunto. Os autores concluem que nenhum grande modelo de linguagem demonstrou, até agora, passar num teste fiel ao formato original.

O que o estudo não prova

A amostra é pequena e o experimento usou um único modelo, o GPT-4-Turbo, já superado por versões mais novas. Os próprios pesquisadores afirmam que os resultados não mostram que todos os modelos atuais ou futuros falhariam. Também não é uma contestação a pesquisas anteriores que usaram conversas curtas; a crítica é sobre o que elas podem afirmar. Detalhes como critérios de julgamento e perfil dos participantes dependem da leitura do artigo completo, que não foi consultado na íntegra para esta reportagem.

Por que a discussão importa

Manchetes sobre IA que "passou no teste de Turing" costumam se apoiar em conversas de poucos minutos. O estudo mostra que o resultado depende das regras escolhidas, e que mudar a duração e a liberdade das perguntas muda o veredito. Para o leitor, a lição é prática: antes de aceitar que uma máquina "passou" em um teste, vale perguntar qual foi o formato, quanto tempo durou e quantos juízes participaram.

O debate também lembra que o teste de Turing nunca foi uma medida oficial de inteligência, e sim uma proposta filosófica de 1950. Usá-lo como régua de marketing ou de manchete tende a render conclusões frágeis.

O que vem depois

Uma extensão natural seria repetir o desenho original com modelos mais recentes e com mais participantes. Até lá, o que há de sólido é limitado: sob as condições de Turing, um modelo de 2023 foi descoberto por quase todos os juízes.