IdeaLens: detector de texto de IA analisa ideias, não palavras, e acerta 91% em teste

Uma equipe de pesquisadores da Universidade de Maryland, do Google DeepMind e da Universidade Simon Fraser apresentou o IdeaLens, um detector de textos de IA que não olha para o estilo de escrita, e sim para as ideias do texto. Em testes com material totalmente humano ou totalmente escrito por IA, a ferramenta identificou 91% dos documentos de IA e marcou erroneamente 0,6% dos de autoria humana. Os autores afirmam que ela ainda não está pronta para uso.

Como o IdeaLens funciona

O trabalho é um preprint no arXiv, "IdeaLens: Detecting AI Ideas in Long-form Writing", de Rishanth Rajendhran e coautores, entre eles Mohit Iyyer. Preprint significa que ainda não passou necessariamente por revisão de especialistas.

Detectores comuns, como o Pangram citado no estudo, analisam escolha de palavras e padrões de frase. O IdeaLens faz diferente. A equipe reuniu cerca de 1 milhão de documentos classificados por um detector existente como escritos por IA ou por humanos. Modelos de linguagem avançados reduziram cada documento a um esboço dos argumentos centrais, eliminando o estilo. O sistema aprendeu a diferenciar apenas a partir desses esboços.

Resultados

• Em textos totalmente humanos ou totalmente de IA, o IdeaLens acertou 91% dos de IA e acusou 0,6% dos humanos. Segundo a divulgação, ficou abaixo de alguns outros detectores nesse teste.
• Em textos com ideias humanas e redação de IA, o Pangram 4 identificou 92%, enquanto o IdeaLens marcou só 7%, classificando a maioria como de ideias humanas.
• Em textos com redação humana sobre ideias de IA, o Pangram detectou 8% do envolvimento da IA. O IdeaLens apontou 68% como de ideias geradas por IA.

Os dois detectores, portanto, enxergam coisas diferentes: um pega o uso de IA para reescrever, o outro, o uso de IA para pensar.

O que distingue as ideias

Ao analisar 90 mil previsões, os autores observaram padrões. Ideias humanas tinham mais fontes verificáveis, detalhes específicos e reconhecimento de limitações ou problemas em aberto. Ideias geradas por IA tinham mais detalhes genéricos, números ou métodos impossíveis de checar, afirmações grandiosas e soluções aparentemente perfeitas. Na frase dos autores, é possível separar escrita humana e de IA "só pelas ideias".

Limitações

A ferramenta funciona pior em textos de alguns modelos de IA mais novos, segundo a divulgação, e os pesquisadores dizem que precisa de refinamento e mais testes antes de ser implantada. Um teste público está disponível em ideadetector.ai.

Detectores de IA têm um histórico de erros, inclusive falsos positivos que acusam pessoas de algo que não fizeram. Mesmo com taxa de 0,6% de falso positivo em condições controladas, o número pode ser diferente em textos reais de alunos, pesquisadores ou jornalistas. Por isso, nenhum resultado de detector deve ser usado sozinho para punir alguém.

Por que importa

Editores de periódicos e organizadores de conferências já recebem trabalhos escritos com apoio de IA e usam detectores para triagem. O IdeaLens mostra que o debate está migrando de "quem escreveu as palavras" para "quem teve a ideia", uma questão mais difícil, porque o uso de IA para organizar o raciocínio é menos visível que o uso para escrever.

Para estudantes e profissionais brasileiros, a notícia ainda é de pesquisa, não de produto. O que fica é o critério que o estudo aponta: textos que citam fontes verificáveis, dão detalhes concretos e admitem limites tendem a ser mais confiáveis, venham de quem vierem.