22 de Novembro, 2023

Estudo da Oxford Internet Institute adverte sobre riscos dos LLMs à ciência

image 24

Um novo artigo de pesquisadores da Oxford Internet Institute, publicado na Nature Human Behaviour, alerta que os Modelos de Linguagem de Grande Escala (LLMs) representam uma ameaça direta à ciência devido a "alucinações" (respostas não verdadeiras) e deveriam ser restritos para proteger a verdade científica. O artigo, de autoria dos Professores Brent Mittelstadt, Chris Russell e Sandra Wachter, destaca que os LLMs são projetados para produzir respostas úteis e convincentes sem garantias de precisão ou alinhamento com fatos.

Os LLMs são treinados em grandes conjuntos de dados textuais, muitas vezes retirados de fontes online, que podem conter declarações falsas, opiniões e escritas criativas, entre outros tipos de informações não factuais. O Prof. Mittelstadt explica que os usuários frequentemente antropomorfizam a tecnologia, confiando nela como uma fonte de informação semelhante aos humanos. Isso se deve, em parte, ao design dos LLMs como agentes que soam humanos, úteis, que conversam com os usuários e respondem a quase qualquer pergunta com textos bem escritos e confiantes. Resultado disso é que os usuários podem ser facilmente convencidos da precisão das respostas, mesmo quando elas não têm base em fatos ou apresentam uma versão tendenciosa ou parcial da verdade.

Para proteger a ciência e a educação da propagação de informações ruins e tendenciosas, os autores argumentam que devem ser estabelecidas expectativas claras sobre o que os LLMs podem contribuir de maneira responsável e útil. Eles sugerem que, para tarefas onde a verdade importa, os usuários devem escrever prompts de tradução que incluam informações verificadas e factuais.

Os autores reconhecem que a tecnologia sem dúvida auxiliará nos fluxos de trabalho científicos, mas enfatizam que o escrutínio de suas saídas é fundamental para proteger a ciência robusta. Eles propõem que os LLMs sejam usados como "tradutores de zero-shot", em vez de depender dos LLMs como fonte de informações relevantes, o usuário deve simplesmente fornecer ao LLM informações apropriadas e pedir que as transforme em um resultado desejado. Isso facilita a verificação de que a saída é factualmente correta e consistente com a entrada fornecida.

Com informações - University of Oxford.

Quer ficar por dentro das ultimas notícias na área?

Assine nossa newsletter semanal e acompanhe as notícias mais relevantes em segurança da informação e proteção de dados.

Posts recentes

Discord enfrenta ação judicial por negligência na proteção de crianças

O Procurador-Geral de Nova Jersey moveu uma ação judicial contra a plataforma de mensagens Discord, acusando a empresa de práticas comerciais enganosas e irresponsáveis que expõem crianças a conteúdos violentos e sexuais, além de predadores online. A investigação revelou que Discord teria enganado os pais quanto à eficácia de seus controles de segurança, oferecendo garantias […]

Ler Mais
Apple e Meta são multadas pela UE por violação ao DMA

A Comissão Europeia anunciou multas inéditas às gigantes Apple e Meta por descumprimento de regras do Digital Markets Act (DMA), legislação criada para coibir práticas anticompetitivas nos mercados digitais da União Europeia. A Apple foi penalizada em €500 milhões (aproximadamente US$ 570 milhões) devido a restrições impostas a desenvolvedores na App Store, conhecidas como “anti-steering”, […]

Ler Mais
BCB define ativos financeiros vinculáveis a boletos dinâmicos para aumentar segurança

O Banco Central do Brasil (BCB) publicou a Instrução Normativa nº 611/2025, que estabelece os tipos de ativos financeiros passíveis de vinculação a boletos de cobrança dinâmicos, modalidade criada para modernizar e dar mais segurança a transações envolvendo créditos negociáveis. A medida integra esforços regulatórios para aprimorar a eficiência e a rastreabilidade de operações financeiras, […]

Ler Mais
Av. Senador Alberto Pasqualini, n. 180, sala 2 - Três de Maio/RS
contato@brownpipe.com.br
Comercial: (55) 999164209 - WhatsApp e Signal 

CONECTE-SE CONOSCO
Fique atualizado com as notícias mais relevantes em segurança da informação e proteção de dados. Inscreva-se na nossa newsletter semanal! 
Políticas BrownPipe *
Termos de privacidade
linkedin facebook pinterest youtube rss twitter instagram facebook-blank rss-blank linkedin-blank pinterest youtube twitter instagram