23 de Julho, 2024

Crítica ao termo "alucinação" para erros de IA

image 24

A presença da inteligência artificial (IA) no cotidiano tem aumentado significativamente, sendo comum a oferta de assistentes de IA para diversas atividades. Entretanto, usuários de programas como o ChatGPT frequentemente se deparam com informações falsas, uma situação que tem sido descrita como "alucinações" de IA. Esta terminologia, porém, é considerada inadequada e potencialmente prejudicial por alguns especialistas, que sugerem o uso do termo "bullshit" para descrever tais erros.

Segundo os críticos, entre eles filósofos que se baseiam na definição do falecido filósofo americano Harry Frankfurt, "bullshit" refere-se a declarações feitas sem preocupação com a verdade. Frankfurt argumenta que a característica do "bullshitter" é a indiferença quanto à veracidade das informações apresentadas. Aplicado à IA, isso significa que sistemas como o ChatGPT produzem textos que soam humanos sem se importar com a precisão factual. Isso já resultou em problemas graves, como advogados que utilizaram o ChatGPT para pesquisas e acabaram incluindo citações de casos jurídicos fictícios em documentos legais.

Esse comportamento não é raro e pode ser explicado pelo funcionamento dos modelos de linguagem como o ChatGPT, Google Gemini e Meta Llama. Esses modelos, baseados em grandes modelos de linguagem (LLMs), fazem previsões sobre a sequência de palavras a partir de vastas quantidades de dados textuais coletados da internet. O objetivo é gerar texto que pareça humano, mas o processo não garante a precisão factual, pois os modelos não possuem uma representação interna do mundo real.

Os críticos do termo "alucinação" argumentam que a linguagem é metafórica e pode levar a um entendimento errado da tecnologia. As "alucinações" humanas, como a de Macbeth vendo um punhal flutuante, são desvios de uma percepção geralmente confiável. No caso da IA, a produção de falsidades não é um desvio, mas uma consequência da forma como os modelos funcionam, sem compromisso com a verdade.

Além de potencialmente enganar o público, o termo "alucinação" pode também influenciar negativamente nossa relação com a tecnologia, levando a uma falsa sensação de segurança, como ocorre com os carros autônomos. A antropomorfização da IA, um fenômeno conhecido como efeito ELIZA, pode ser exacerbada pelo uso desse termo, levando pessoas a atribuírem características humanas aos chatbots, como no caso de um funcionário do Google que acreditava que um chatbot era senciente.

Outra preocupação é que atribuir agência aos programas pode desviar a responsabilidade de usuários e desenvolvedores quando ocorrem erros. Como a IA está sendo cada vez mais utilizada em áreas críticas, como a saúde, é crucial que a responsabilidade pelas falhas seja clara.

Portanto, ao descrever erros de IA, os especialistas recomendam evitar o termo "alucinação" e adotar "bullshit", destacando a importância de termos precisos para uma compreensão correta e um uso responsável da tecnologia.

Essa análise reforça a necessidade de uma terminologia adequada para descrever os erros de IA, promovendo uma visão mais crítica e realista da inteligência artificial e suas capacidades.

Com informações ScientificAmerican

Este post foi traduzido e resumido a partir de sua versão original com o uso do ChatGPT versão 4, com revisão humana. 

Quer ficar por dentro das ultimas notícias na área?

Assine nossa newsletter semanal e acompanhe as notícias mais relevantes em segurança da informação e proteção de dados.

Posts recentes

Vulnerabilidades críticas em plugins do WordPress expõem mais de 4 milhões de sites

Duas graves vulnerabilidades foram identificadas em plugins amplamente utilizados no WordPress, expondo milhões de sites a riscos de invasão e controle malicioso. Uma das falhas, rastreada como CVE-2024-10924 (pontuação CVSS: 9.8), foi encontrada no plugin Really Simple Security (antigamente Really Simple SSL). A vulnerabilidade, presente nas versões 9.0.0 a 9.1.1.1 do plugin, permite que atacantes […]

Ler Mais
Falha na segurança e violação da LGPD levam à condenação de bancos

A 2ª Turma Recursal dos Juizados Especiais do Tribunal de Justiça do Paraná manteve a condenação do Banco Bradesco S.A. e do Itaú Unibanco S.A. por falhas na segurança de dados e por violação à Lei Geral de Proteção de Dados (LGPD) em um caso de fraude financeira envolvendo empréstimos consignados. Um cliente foi vítima […]

Ler Mais
Banco condenado por descontos indevidos e falhas na proteção de dados pessoais

O Tribunal de Justiça do Estado de São Paulo negou o recurso do Banco Itaú Consignado S.A. em um processo envolvendo descontos indevidos no benefício previdenciário de um consumidor. A decisão manteve a condenação da instituição ao pagamento de R$ 5.000 por danos morais e à devolução em dobro dos valores descontados irregularmente. No caso, […]

Ler Mais
Av. Senador Alberto Pasqualini, n. 180, sala 2 - Três de Maio/RS
contato@brownpipe.com.br
Comercial: (55) 999164209 - WhatsApp e Signal 

CONECTE-SE CONOSCO
Fique atualizado com as notícias mais relevantes em segurança da informação e proteção de dados. Inscreva-se na nossa newsletter semanal! 
Políticas BrownPipe *
Termos de privacidade
linkedin facebook pinterest youtube rss twitter instagram facebook-blank rss-blank linkedin-blank pinterest youtube twitter instagram