22 de Novembro, 2023

Estudo da Oxford Internet Institute adverte sobre riscos dos LLMs à ciência

image 24

Um novo artigo de pesquisadores da Oxford Internet Institute, publicado na Nature Human Behaviour, alerta que os Modelos de Linguagem de Grande Escala (LLMs) representam uma ameaça direta à ciência devido a "alucinações" (respostas não verdadeiras) e deveriam ser restritos para proteger a verdade científica. O artigo, de autoria dos Professores Brent Mittelstadt, Chris Russell e Sandra Wachter, destaca que os LLMs são projetados para produzir respostas úteis e convincentes sem garantias de precisão ou alinhamento com fatos.

Os LLMs são treinados em grandes conjuntos de dados textuais, muitas vezes retirados de fontes online, que podem conter declarações falsas, opiniões e escritas criativas, entre outros tipos de informações não factuais. O Prof. Mittelstadt explica que os usuários frequentemente antropomorfizam a tecnologia, confiando nela como uma fonte de informação semelhante aos humanos. Isso se deve, em parte, ao design dos LLMs como agentes que soam humanos, úteis, que conversam com os usuários e respondem a quase qualquer pergunta com textos bem escritos e confiantes. Resultado disso é que os usuários podem ser facilmente convencidos da precisão das respostas, mesmo quando elas não têm base em fatos ou apresentam uma versão tendenciosa ou parcial da verdade.

Para proteger a ciência e a educação da propagação de informações ruins e tendenciosas, os autores argumentam que devem ser estabelecidas expectativas claras sobre o que os LLMs podem contribuir de maneira responsável e útil. Eles sugerem que, para tarefas onde a verdade importa, os usuários devem escrever prompts de tradução que incluam informações verificadas e factuais.

Os autores reconhecem que a tecnologia sem dúvida auxiliará nos fluxos de trabalho científicos, mas enfatizam que o escrutínio de suas saídas é fundamental para proteger a ciência robusta. Eles propõem que os LLMs sejam usados como "tradutores de zero-shot", em vez de depender dos LLMs como fonte de informações relevantes, o usuário deve simplesmente fornecer ao LLM informações apropriadas e pedir que as transforme em um resultado desejado. Isso facilita a verificação de que a saída é factualmente correta e consistente com a entrada fornecida.

Com informações - University of Oxford.

Quer ficar por dentro das ultimas notícias na área?

Assine nossa newsletter semanal e acompanhe as notícias mais relevantes em segurança da informação e proteção de dados.

Posts recentes

Amazon sacrifica privacidade em prol do novo Alexa+

A Amazon anunciou uma mudança significativa na política de privacidade dos dispositivos Echo, que entrará em vigor a partir de 28 de março. A empresa eliminará a opção de processamento local de comandos de voz, obrigando todos os usuários a enviar suas gravações para a nuvem da Amazon. Esta alteração está relacionada ao lançamento do […]

Ler Mais
BACEN prorroga prazo para registro de empresas de compartilhamento de dados sobre fraudes

O Banco Central do Brasil (BACEN) adiou a entrada em vigor da Instrução Normativa nº 590, que estabelece procedimentos para o registro de empresas contratadas para compartilhamento de dados sobre indícios de fraudes. A nova data de vigência passa a ser 3 de março de 2025, com efeitos a partir de 2 de maio de […]

Ler Mais
Oracle Cloud enfrenta alegações de vazamento de dados de 6 milhões de usuários

A Oracle está enfrentando sérias alegações de violação de dados em seus servidores de login SSO federado do Oracle Cloud, apesar de negar veementemente o incidente. De acordo com investigações conduzidas pela BleepingComputer, múltiplas empresas confirmaram a autenticidade de amostras de dados associados compartilhados por um suposto hacker. O caso veio à tona na semana […]

Ler Mais
Av. Senador Alberto Pasqualini, n. 180, sala 2 - Três de Maio/RS
contato@brownpipe.com.br
Comercial: (55) 999164209 - WhatsApp e Signal 

CONECTE-SE CONOSCO
Fique atualizado com as notícias mais relevantes em segurança da informação e proteção de dados. Inscreva-se na nossa newsletter semanal! 
Políticas BrownPipe *
Termos de privacidade
linkedin facebook pinterest youtube rss twitter instagram facebook-blank rss-blank linkedin-blank pinterest youtube twitter instagram