Alucinações de IA: Razões, custos e mitigação

Organizações de todos os tipos, em todas as indústrias, estão a correr para aderir à moda da IA. Modelos de linguagem de grande escala (LLM), chatbots, motores de busca e ferramentas para interagir com clientes, utilizadores e outros estão a ser implementados a um ritmo acelerado—mas, em muitos casos, está a ser prestada pouca atenção aos vários tipos de risco que acompanham esta tecnologia muito nova.

Num blogue recente, o engenheiro de software da Barracuda, Gabriel Moss, forneceu um relato detalhado das formas como os atacantes podem—e de facto fazem—usar técnicas de envenenamento e manipulação de dados para corromper LLMs de maneiras que podem ser dispendiosas para os seus proprietários.

Nesse artigo, Gabriel também abordou brevemente o problema das "alucinações" de IA, que também podem ter consequências dispendiosas, mas não são o resultado de ações deliberadas por atacantes humanos.

O ChatGPT mentiria para si?

Bem, isso leva a algumas questões filosóficas, como se é possível mentir sem saber que se está a mentir, ou mesmo compreender a diferença entre mentiras e verdade. Mas ele e outros LLMs certamente demonstraram ser capazes de inventar coisas.

Como certamente já sabe, quando os LLMs produzem respostas confabuladas a consultas, são chamadas alucinações. De facto, o Cambridge Dictionary nomeou "alucinar" a sua Palavra do Ano para 2023, ao adicionar uma nova definição relacionada com IA à palavra.

Infelizmente, as alucinações de IA podem ter consequências verdadeiramente prejudiciais, tanto para as organizações que implementam chatbots LLM como para os seus utilizadores finais. No entanto, existem formas de minimizar as alucinações e mitigar os danos que causam.

Porque não uso LLMs

Uma vez pedi a um chatbot de IA para produzir um primeiro rascunho de um post de blog para mim. Como tinha sido treinado com informações publicadas antes de 2016, pedi-lhe que usasse a internet para encontrar fontes de informação modernas. E instruí-o especificamente a incluir citações e links para as fontes que utilizou.

O que recebi foi um pequeno ensaio razoavelmente bom. O estilo de escrita era insípido, mas aceitável. E citava vários artigos de notícias e revistas académicas.

Mas descobri que as citações eram todas inventadas. Ou os sites ou os artigos específicos citados não existiam de todo, exceto num caso, em que o artigo existia, mas a citação direta do artigo que o meu chatbot incluiu não se encontrava em lado nenhum dentro dele.

Fiquei surpreendido na altura, mas não devia ter ficado. Estes sistemas são principalmente impulsionados pelo imperativo de fornecer uma resposta, e não há qualquer sentido em que compreendam que esta deve ser factual. Assim, podem produzir citações que são bem formadas e plausíveis, sem saberem como as citações funcionam realmente—que devem citar com precisão fontes que realmente existem.

Comecei a referir-me a estes chatbots de LLM como “motores de plausibilidade”. Continuo a esperar que isso pegue, mas até agora não aconteceu. De qualquer forma, depois desse incidente, decidi que estava bastante feliz com a minha idade em continuar a escrever da forma tradicional. Mas, com uma verificação de factos e reescrita adequadas, também consigo perceber por que razão alguns escritores podem retirar muito valor deles. 

Exemplos reais dispendiosos

Nem todos se preocuparam em verificar as citações em texto gerado por LLM, por vezes em seu prejuízo. Por exemplo, no ano passado dois advogados nos EUA foram multados, juntamente com a sua firma, quando submeteram um documento judicial numa ação de indemnização por lesão em aviação. 

O problema foi que eles usaram o ChatGPT para gerar o processo, e este citou casos inexistentes. O juiz no caso não viu nada de impróprio em usar o LLM para ajudar na pesquisa, mas afirmou—desnecessariamente, esperaria-se—que os advogados devem garantir que os seus processos sejam precisos.

Num caso semelhante, um professor universitário pediu a uma bibliotecária que produzisse artigos de revista a partir de uma lista que ele lhe deu. Mas ele havia obtido a lista do ChatGPT, e os artigos listados não existiam. Neste caso, não houve custo além do embaraço.

Outros casos são potencialmente mais problemáticos:

• A Amazon parece estar a vender guias sobre colheita de cogumelos escritos por IA. O que poderia correr mal?

• Na sua demonstração pública inicial, Bing Chat forneceu dados financeiros imprecisos sobre a The Gap e a Lululemon. Cuidado, investidor! (A primeira demonstração do Bard pela Google foi igualmente embaraçosa.)

• O chatbot MyCity de Nova Iorque, alimentado por IA, tem estado a inventar estatutos e políticas da cidade, por exemplo, dizendo a um utilizador que não poderia ser despejado por falta de pagamento de renda.

• Em pelo menos dois casos, o ChatGPT inventou escândalos envolvendo pessoas reais (um professor supostamente acusado de assédio sexual e um presidente de câmara supostamente condenado por suborno), o que pode causar danos reais a essas pessoas.

Como mitigar o problema

Obviamente, a verificação de factos e a supervisão humana são fundamentais para identificar e eliminar alucinações de IA. Infelizmente, isso implica reduzir as poupanças de custos que estes bots proporcionam ao substituir trabalhadores humanos.

Outra estratégia fundamental é gerir e controlar rigorosamente a informação com a qual treina o seu LLM. Mantenha-a relevante para a tarefa pretendida do LLM e limitada a fontes precisas. Isto não impedirá completamente que, por vezes, coloque palavras juntas de forma imprecisa, mas reduz a quantidade de alucinações produzidas pelo uso de conteúdo não relacionado e pouco fiável.

De um modo mais geral, é fundamental compreender as limitações destes sistemas e não esperar demasiado deles. Eles têm, sem dúvida, o seu lugar e provavelmente melhorarão com o tempo (mas veja abaixo).

Porque é provável que piore de qualquer forma

Infelizmente, há uma razão significativa pela qual o problema das alucinações provavelmente vai piorar com o tempo: à medida que geram cada vez mais resultados incorretos, esses dados vão cada vez mais fazer parte do conjunto de treino do próximo LLM, criando um ciclo de erro auto-reforçado que pode rapidamente sair do controlo.

Para terminar, vou apenas repetir o parágrafo final do blogue do Gabriel que referi no início:

As aplicações LLM aprendem umas com as outras e estão a enfrentar uma crise de ciclo de auto-feedback, onde podem começar a inadvertidamente envenenar os seus próprios e os dos outros conjuntos de treino simplesmente por estarem a ser utilizadas. Ironicamente, à medida que a popularidade e o uso de conteúdo gerado por IA aumentam, também aumenta a probabilidade de os modelos colapsarem sobre si mesmos. O futuro da IA generativa está longe de ser certo.