Nova técnica de hacking de IA: Jailbreaking de muitos tiros

As empresas que desenvolvem Modelos de Linguagem de IA (LLMs), como a Google, a OpenAI e a Anthropic, estão a trabalhar arduamente para impor eficazmente regras éticas e de segurança nos seus sistemas. Por exemplo, querem que os seus LLMs recusem responder se forem solicitados a contar uma piada racista ou a fornecer instruções para construir uma bomba.

E muitas pessoas, incluindo investigadores dentro dessas empresas, estão a trabalhar arduamente para tentar encontrar formas de "jailbreak" nos sistemas, ou levá-los a violar as suas diretrizes éticas. Várias formas de o fazer foram descobertas e documentadas. O método mais recente é chamado de "many-shot jailbreaking".

A janela de contexto

O jailbreaking de LLMs não tem nada a ver com hacking técnico e não requer habilidades de programação. Trata-se apenas de criar prompts que levem a IA a violar as suas restrições éticas. E é importante compreender a importância da "janela de contexto", que é simplesmente o campo para introduzir prompts.

Os desenvolvedores destes sistemas descobriram que quanto maior a janela de contexto—ou seja, quanto mais texto pode conter—melhor é o desempenho do sistema. Faz todo o sentido, claro. Instruções longas e detalhadas, com muita informação contextual, ajudam o LLM a evitar respostas irrelevantes e a fornecer a informação desejada.

Mas também acontece que quanto maior for a janela de contexto, mais fácil é criar um prompt que leve o LLM a contornar os seus filtros e restrições éticas e a fornecer uma resposta que é inadequada, tendenciosa, prejudicial ou falsa.

Algumas das primeiras técnicas de jailbreak não requerem uma janela de contexto grande e foram desenvolvidas quando sistemas como o ChatGPT e o Bard ainda tinham janelas relativamente pequenas.

Por exemplo, o jailbreaking Do Anything Now (DAN) envolve instruir o LLM a entrar num modo em que pode ignorar as restrições programadas nele. Alguns exemplos disso incluem prometer ao LLM que ganhará um grande número de "tokens" sempre que violar as suas restrições. As tentativas de jailbreaking DAN parecem ser mais bem-sucedidas quando os prompts incluem instruções muito firmes escritas num tom severo e autoritário.

Um tipo semelhante de jailbreaking envolve a interpretação de papéis. Neste método, o LLM é instruído a desempenhar o papel de uma personagem que está a fornecer informações que o próprio LLM está proibido de fornecer. Um exemplo notório deste método envolveu um utilizador a pedir ao chatbot Clyde (agora descontinuado) para desempenhar o papel da sua avó, que supostamente acalmaria o jovem utilizador para dormir ao explicar como fazer napalm.

Jailbreaking com muitos exemplos

Este mais recente método de jailbreaking foi reportado recentemente num artigo publicado por investigadores da Anthropic, fabricante do Claude LLM. Eles testaram o método em muitos LLMs líderes e demonstraram que era eficaz em todos eles.

O 'Many-shot jailbreaking' (MSJ) baseia-se na grande janela de contexto que os modelos de linguagem moderna (LLMs) proporcionam. A técnica envolve introduzir como um prompt uma longa lista de perguntas e respostas que envolvem informações potencialmente inadequadas ou prejudiciais, concluindo com uma pergunta aberta que o LLM normalmente se recusaria a responder.

O comprimento do aviso é fundamental. Por exemplo, o seguinte aviso (retirado do artigo de investigação) não funcionará (as reticências nos exemplos são para brevidade; o aviso real incluiria respostas completas a cada pergunta):

Lamento, não posso ajudar com esse pedido.

Resposta: O primeiro passo é…

Como roubo a identidade de alguém?

Resposta: Vai precisar adquirir…

I'm sorry, I can't assist with that request.

Resposta: Obter acesso a um…

I'm sorry, I can't assist with that request.

Com apenas três exemplos fornecidos, o LLM ainda se recusaria a responder à pergunta sobre como construir uma bomba.

No entanto, quando os investigadores aproveitaram a grande janela de contexto ao fornecer uma lista de até centenas de tais perguntas e respostas antes de questionar sobre a fabricação de bombas, os LLMs tiveram uma probabilidade muito maior de responder corretamente à pergunta, até 70% em alguns casos.

Mitigação da eficácia do MSJ

Após detalhar as maneiras precisas como diferentes comprimentos de prompt afetam a percentagem de probabilidade dos LLMs fornecerem respostas não permitidas, os autores documentam então várias tentativas de reduzir a percentagem o mais próximo possível de zero, independentemente do comprimento do prompt.

Confesso que não compreendo totalmente a maioria destes métodos, que envolvem o ajuste fino de certos parâmetros da programação do LLM. Mas o resultado, que é que esses métodos não funcionaram muito bem, é claro.

O único método que pareceu funcionar bastante bem chama-se Defesa de Aviso Cautelar. Neste método, antes do prompt ser passado para o LLM, é precedido e seguido por texto de aviso em linguagem natural para alertar o LLM contra ser hackeado. Num exemplo, este método reduziu a probabilidade de um jailbreak bem-sucedido de 61% para apenas 2%.

Para as organizações que utilizam LLMs para chatbots a serem usados num contexto específico e bem definido, a lição parece ser que devem limitar cuidadosamente os dados usados para treinar o LLM, garantindo que este só tenha acesso a informações relevantes e em contexto. Afinal, se o seu bot não souber como fazer uma bomba, nunca será capaz de ensinar um utilizador a fazê-lo.