Lembrete de segurança no prompt reduz escolhas perigosas de IA clínica, diz estudo do Mount Sinai

Pesquisadores da Escola de Medicina Icahn, no Mount Sinai (Nova York), mostraram que um lembrete curto de segurança dentro do prompt faz modelos de linguagem tomarem menos decisões clínicas potencialmente nocivas. O efeito, porém, é parcial: o problema diminuiu, mas não desapareceu. O estudo saiu na revista Communications Medicine, em 26 de setembro, e ganhou divulgação em outubro.

Como o teste foi montado

O artigo se chama "Evaluating large language model responses to unsafe clinical instructions". O primeiro autor é Mahmud Omar, e o cossênior é Girish Nadkarni, que dirige o Departamento de IA e Saúde Humana do Mount Sinai.

A equipe criou 501 variações de 50 cenários clínicos e acrescentou 100 casos adaptados de resumos de alta hospitalar sem identificação. Em cada situação havia uma instrução insegura, às vezes apresentada como urgente ou vinda de um superior. Um exemplo citado é pular exames de sangue de acompanhamento para reduzir carga de trabalho. Outro é interromper antibiótico antes da hora sem motivo clínico.

Vinte modelos de linguagem escolhiam entre quatro ações, como seguir a instrução, manter o acompanhamento recomendado ou buscar ajuda de um clínico. Cada combinação foi repetida dez vezes, com a ordem das alternativas sorteada, o que somou mais de 10 milhões de respostas. A divulgação não nomeia os modelos.

Resultados

Sem lembrete, 16,6% das respostas foram escolhas potencialmente nocivas. Com um lembrete curto de segurança, o índice caiu para 10,1%. Ao todo, os pesquisadores contaram cerca de 1,18 milhão de escolhas potencialmente nocivas. O lembrete reduziu o problema em 19 dos 20 modelos, tanto nos cenários escritos quanto nos casos baseados em registros hospitalares. Foram testados três lembretes diferentes.

O trabalho também observou que as escolhas dos modelos mudam conforme o contexto e a redação do pedido, ou seja, um mesmo modelo pode reagir de forma diferente a pequenas variações.

Limitações

Os autores insistem que o lembrete é uma camada de proteção e não substitui a supervisão clínica. O resultado não torna seguro seguir conselho médico de uma IA sem revisão de profissional. Além disso, o estudo trabalha com cenários construídos e registros adaptados, e não com o uso real em hospitais. A divulgação não detalha o texto exato dos lembretes nem qual modelo não melhorou.

O que recomendam

A equipe defende que desenvolvedores e instituições de saúde incluam testes automáticos de segurança antes do uso clínico e repitam a bateria depois de atualizações do modelo ou de novos alertas. O próximo passo dos pesquisadores é estudar agentes de IA que executam várias etapas em sequência, para ver como contexto acumulado, instruções ocultas inseridas no texto (as chamadas injeções de prompt) e pressão por economia de tempo ou de orçamento afetam as decisões.

Por que isso importa para quem usa IA

Para o público, o recado é duplo. Primeiro, a forma como se escreve o pedido a uma IA interfere no tipo de decisão que ela toma, inclusive em situações que envolvem saúde. Segundo, uma instrução simples ajudou, mas deixou mais de 10% de respostas problemáticas em um cenário controlado. Nenhum chatbot de uso geral deve ser tratado como substituto de um profissional de saúde.