Foco na Ameaça: Como atacantes envenenam ferramentas e defesas de IA

A Barracuda relatou como a IA generativa está a ser usada para criar e distribuir emails de spam e elaborar ataques de phishing altamente persuasivos. Estas ameaças continuam a evoluir e a escalar — mas não são as únicas formas em que os atacantes aproveitam a IA.

Investigadores de segurança estão agora a ver atores de ameaça manipular ferramentas de IA de empresas e adulterar as suas funcionalidades de segurança de IA para roubar e comprometer informações e enfraquecer as defesas de um alvo.

Ataques de email direcionados a assistentes de IA

Assistentes de IA e os grandes modelos de linguagem (LLMs) que suportam a sua funcionalidade são vulneráveis a abusos.

Os analistas de ameaças da Barracuda descobriram ataques em que instruções maliciosas estão ocultas em emails de aparência inofensiva. Esta carga útil maliciosa foi projetada para manipular o comportamento dos assistentes de informações de IA do alvo.

Por exemplo, uma vulnerabilidade recentemente relatada — e corrigida — no assistente de IA da Microsoft 365, Copilot, poderia permitir a qualquer pessoa extrair informações de uma rede sem autorização. Os atores de ameaças podem explorar isso para recolher e exfiltrar informações sensíveis de um alvo.

Fazem isto aproveitando a capacidade dos assistentes de IA internos para procurar e compilar dados contextuais de emails internos, mensagens e documentos ao responder a perguntas ou completar tarefas.

• Primeiro, os atacantes enviam a um ou mais funcionários um e-mail aparentemente inofensivo contendo uma carga útil maliciosa oculta e incorporada.
• Este email não necessita de interação do utilizador e permanece benignamente na sua caixa de entrada.
• Quando o funcionário pede ajuda ao assistente de IA para uma tarefa ou consulta, o assistente analisa e-mails, ficheiros e dados antigos para fornecer contexto para a sua resposta. Como resultado, o assistente de IA infetou-se inadvertidamente com o prompt malicioso.
• O prompt malicioso poderia então pedir ao assistente de IA para exfiltrar silenciosamente informações sensíveis, executar comandos maliciosos ou alterar dados.

Os emails armadilhados também tentam manipular assistentes de IA corrompendo a sua memória subjacente ou a lógica de recuperação de dados. Isto inclui emails com exploits que visam vulnerabilidades em implementações RAG (Geração Aumentada por Recuperação). RAG é uma técnica que permite aos LLMs recuperar e incorporar novas informações para além do seu modelo de treino.

Tais ataques podem levar os assistentes de IA a tomar decisões incorretas, fornecer informações falsas ou realizar ações não intencionais com base em dados corrompidos.

Adulteração com proteção baseada em IA

Os atacantes também estão a aprender a manipular os componentes de IA das tecnologias defensivas.

As plataformas de segurança de email estão a ser melhoradas com funcionalidades potenciadas por IA que as tornam mais fáceis de utilizar e mais eficientes, incluindo funcionalidades como respostas automáticas, encaminhamento 'inteligente', triagem automática para remover spam, criação automatizada de tickets para problemas, entre outras. Isto está a expandir a potencial superfície de ataque que os agentes de ameaça podem visar.

Se um atacante manipular com sucesso estas funcionalidades de segurança, poderá:

• Manipular ferramentas inteligentes de segurança de email para responder automaticamente com dados sensíveis.
• Abusar das funcionalidades de segurança de IA para escalar pedidos de assistência técnica sem verificação. Isto pode levar a acesso não autorizado a sistemas ou dados, pois os atacantes poderiam explorar os privilégios escalados para realizar atividades maliciosas.
• Desencadear a automação de fluxo de trabalho com base num prompt malicioso. Isto pode levar à execução de ações prejudiciais, como o lançamento de malware, a alteração de dados críticos ou a interrupção das operações empresariais.

Colocando a realidade em dúvida

Confusão de identidade e falsificação

Quando os sistemas de IA operam com altos níveis de autonomia, podem ser enganados para imitar utilizadores ou confiar em imitadores. Isto pode levar a:

• ‘Ataques do Deputado Confuso’ : Isto envolve um agente de IA com privilégios mais altos a realizar tarefas não autorizadas em nome de um utilizador com menos privilégios, como um atacante.
• Acesso à API falsificado: Isto envolve integrações existentes baseadas em IA com Microsoft 365 ou Gmail, por exemplo, sendo manipuladas para divulgar dados sensíveis ou enviar e-mails fraudulentos.

Alucinações em cascata: confiar no falso

Conforme mencionado acima, ataques de email que visam assistentes de IA podem tentar manipular a funcionalidade do assistente. Isso pode levar o assistente a resumir a caixa de entrada do utilizador, gerar relatórios e definir o calendário — mas com base em dados falsos ou manipulados.

Em tais casos, um único email envenenado poderia:

• Prioritização enganosa de tarefas. Por exemplo, enviar emails "urgentes" de executivos falsos.
• Resumos e recomendações de distorção
• Influenciar decisões empresariais críticas com base em alucinações

Como as defesas de email precisam se adaptar

Gateways de e-mail legados, protocolos de autenticação de e-mail tradicionais, como SPF ou DKIM e listas de bloqueio de IP padrão já não são suficientes para se defender contra estas ameaças. As organizações precisam de uma plataforma de segurança de e-mail que seja resiliente à IA generativa. Esta plataforma deve incluir:

• Filtragem sensível a LLM: Deve ser capaz de compreender o contexto do e-mail (tópico, alvo, tipo, etc.), tom e padrões de comportamento, além do conteúdo do e-mail.
• Validação de memória contextual: Isto ajuda a sanitizar o que os filtros baseados em IA aprendem ao longo do tempo e pode prevenir manipulações a longo prazo.
• Isolamento da cadeia de ferramentas: Os assistentes de IA precisam operar em sandboxes, com medidas implementadas para bloquear qualquer ação não verificada com base num prompt de email recebido.
• Gestão de identidade com escopo: Isto envolve o uso de tokens de privilégio mínimo e a aplicação de limites de identidade para integrações de IA.
• Execução de IA com confiança zero: Só porque um email afirma ser "do CEO" não significa que a IA deva agir automaticamente com base nele. As ferramentas devem ser configuradas para verificar tudo antes da execução.

O futuro da segurança de email é ‘consciente do agente’

As ferramentas de IA utilizadas nas organizações estão a ser cada vez mais construídas com base na IA agêntica. Estes são sistemas de IA capazes de tomar decisões de forma independente e de comportamentos autónomos. Estes sistemas conseguem raciocinar, planear e realizar ações, adaptando-se em tempo real para alcançar objetivos específicos.

Esta poderosa capacidade pode ser manipulada por atacantes, e as medidas de segurança devem mudar de filtragem passiva para modelação proativa de ameaças para agentes de IA.

O email é um ótimo exemplo. O email está a tornar-se num espaço de trabalho aumentado por IA, mas continua a ser um dos principais vetores de ataque. As estratégias de segurança precisam de deixar de ver o email como um canal. Em vez disso, devem abordá-lo como um ambiente de execução que requer princípios de confiança zero e validação constante, ciente de IA.

Como a Barracuda Email Protection ajuda a defender contra ataques de IA

A plataforma integrada de cibersegurança da Barracuda é desenvolvida especificamente para enfrentar o duplo desafio de ataques baseados em IA e ataques que visam componentes de IA.

A nossa suite de proteção de email combina deteção inteligente, automação adaptativa e design centrado no humano para ajudar os clientes a superar as ameaças potentes de IA.

Isto inclui:

• Deteção avançada baseada em IA: A Barracuda usa IA comportamental e processamento de linguagem natural (NLP) para identificar engenharia social mesmo sem malware ou links óbvios. Deteta a personificação, comprometimento de email empresarial (BEC) e anomalias de mudança de tom que os filtros tradicionais não conseguem captar.
• Defesa em profundidade: A Barracuda cobre todas as etapas da cadeia de eliminação, desde prevenção de phishing até detecção de apropriação de contas e resposta a incidentes automatizada, fechando as lacunas que os atacantes exploram.
• Inteligência de ameaças em tempo real: Com dados de uma rede de deteção global, a Barracuda adapta-se rapidamente a ameaças em evolução, como a injeção de comandos, o envenenamento RAG e o abuso de alucinações de IA.
• Treino e sensibilização dos utilizadores: A tecnologia por si só não é suficiente. A Barracuda capacita os colaboradores a reconhecerem phishing impulsionado por IA através de formação contínua de sensibilização porque a confiança é a nova vulnerabilidade.

Para mais informações: https://www.barracuda.com/solutions/ai-in-cybersecurity