Enganando a IA: como estudantes estão burlando ferramentas de detecção de textos gerados por inteligência artificial

Logo após o lançamento do ChatGPT da OpenAI, surgiram preocupações de que os estudantes usariam o chatbot para criar ensaios convincentes em segundos. Em resposta, startups começaram a criar produtos que prometem detectar se um texto foi escrito por um humano ou uma máquina. No entanto, novas pesquisas ainda não revisadas por pares sugerem que é relativamente simples enganar essas ferramentas e evitar a detecção.

A maioria dessas ferramentas trabalha procurando características de textos gerados por IA, como repetição, para calcular a probabilidade de o texto ter sido gerado por uma IA. A equipe de pesquisa descobriu que todas as ferramentas testadas lutaram para detectar textos gerados pelo ChatGPT que foram ligeiramente reorganizados e ofuscados por uma ferramenta de paráfrase, sugerindo que os estudantes só precisam adaptar um pouco os ensaios gerados pela IA para enganar os detectores.

Os pesquisadores avaliaram as ferramentas escrevendo ensaios de graduação sobre vários assuntos e em seguida usaram o ChatGPT para gerar mais textos, que foram levemente modificados. Eles descobriram que, enquanto as ferramentas eram boas em identificar textos escritos por humanos (com precisão de 96% em média), elas tiveram um desempenho pior na detecção de textos gerados por IA, especialmente quando haviam sido editados.

Esses estudos também destacam como os métodos atuais das universidades para avaliar o trabalho dos alunos estão desatualizados. Daphne Ippolito, cientista sênior de pesquisa no Google, destaca outra preocupação: é crucial entender as taxas de falsos positivos dos sistemas de detecção automática, pois acusar um estudante de trapaça pode ter consequências graves para a sua carreira acadêmica.

Com informações da MIT Technology Review