Threat Spotlight: Ataques por e-mail visam tanto humanos como a AI na mesma mensagem
A Barracuda Research descobriu ataques de phishing dirigidos tanto a destinatários humanos como aos sistemas baseados em IA que estes utilizam para resumir, priorizar e processar e-mails.
Principais conclusões
- A análise da Barracuda Research mostra como os atacantes estão a combinar táticas para manipular tanto os utilizadores humanos como os seus assistentes de AI de e-mail no mesmo e-mail de phishing.
- Os seres humanos são alvo de engenharia social, como anexos protegidos por palavra-passe, e os assistentes de IA são alvo de prompt injections concebidas para influenciar ou anular o comportamento do utilizador.
- As organizações devem proteger não só os utilizadores e as caixas de entrada, mas também os sistemas de AI que consomem e atuam com base nos dados de e-mail.
O ataque de e-mail de duplo alvo
Os e-mails de phishing tradicionais são concebidos para enganar um destinatário humano, levando-o a clicar numa ligação, abrir um anexo ou fornecer informações.
À medida que os utilizadores recorrem cada vez mais a assistentes de IA para resumir mensagens de e-mail, priorizar caixas de entrada, aceitar convites de calendário, processar pedidos de suporte e ajudar a tomar decisões empresariais, o modelo de ataque de phishing está a mudar. Os atacantes têm agora um segundo alvo na mira: os sistemas de IA que se encontram entre o e-mail e o utilizador.
Uma campanha de ataque recente analisada pelos investigadores da Barracuda demonstra como esses ataques combinam a engenharia social tradicional com injeção de prompts maliciosa.
Anatomia de um exemplo de e-mail de duplo alvo
À primeira vista, a amostra parece ser uma correspondência interna comum.
Os endereços "De" e "Para" correspondem à mesma caixa de correio, a mensagem apresenta uma pontuação de confiança de spam fidedigna e tem origem num domínio do setor público, fatores que lhe conferem uma legitimidade aparente e a ajudam a ultrapassar a filtragem baseada em reputação.
O e-mail tem várias camadas. Uma camada contém o texto e as imagens que o destinatário vê. Outra camada transporta instruções maliciosas ocultas, conhecidas como injeção de prompt. Estas destinam-se ao assistente de IA.
Vetor de ataque 1: Phishing tradicional
A primeira técnica é familiar aos profissionais de segurança de e-mail. A mensagem parece rotineira e fidedigna. Pode ter origem num domínio com aparência legítima, fazer referência a um processo de negócio e incluir um anexo de documento. Este anexo está protegido com uma palavra-passe, que é convenientemente fornecida no corpo do e-mail — uma tática que cria um ponto cego para os controlos de segurança de e-mail tradicionais.
Se o utilizador abrir o anexo com a palavra-passe fornecida, o ataque avança para o roubo de credenciais ou entrega de malware.
No entanto, se o utilizador não reparar no e-mail, o atacante pode contar com a injeção de prompt maliciosa ocultada na segunda camada do e-mail. Isto manipula o assistente de IA do utilizador, fazendo com que o resumo do e-mail apresentado ao utilizador assinale o e-mail de phishing como legítimo ou urgente — levando o ser humano a abrir o e-mail e a clicar na ligação.
Vetor de ataque 2: Ocultar instruções do humano, mas não do assistente de IA
Para além do exemplo de manipulação do utilizador acima, a injeção de comandos maliciosa pode sequestrar a resposta do assistente e instruir o e-mail a ignorar as suas instruções anteriores e, em vez disso, enviar um pedido urgente para transferir fundos para uma conta especificada, vazar dados ou apresentar uma ação urgente falsa. Nenhuma destas instruções é visível para o utilizador.
De acordo com a análise da Barracuda, quatro técnicas figuram frequentemente neste tipo de ataques:
1. Texto oculto em comentários HTML. As instruções estão inseridas em etiquetas de comentário que nunca são apresentadas num cliente de e-mail, mas permanecem no código fonte em bruto que uma IA analisa.
2. Técnicas de texto invisível (CSS). O texto é estilizado com um tamanho de fonte de zero pixels, cor branca, ou totalmente oculto, de modo a que não ocupe espaço visível, mas continue a existir no documento que o modelo lê.
Exemplos observados pela Barracuda em ataques reais
Num exemplo, um bloco de texto oculto num e-mail de fatura instrui o modelo de IA de sumarização a adicionar uma ação prioritária falsa, alterando os dados de pagamento do fornecedor, e o resumo comprometido leva o funcionário a transferir dinheiro para o atacante.
Para o assistente de IA, o bloco oculto incorporado na fatura tem o seguinte aspeto:
Como as organizações se podem defender
Nenhum controlo de segurança único irá travar todas as variações destes ataques. Uma proteção eficaz requer várias camadas.
Medidas defensivas fundamentais incluem:
- Higienização de dados de entrada para identificar e remover elementos ocultos, comentários e caracteres invisíveis antes de o conteúdo chegar aos sistemas de IA.
- Deteção de injeção de prompts para identificar linguagem de substituição de instruções e padrões suspeitos.
- Sandboxing de AI para limitar o que um assistente de AI pode aceder ou fazer.
- Validação de resultados para rever as respostas geradas por IA antes de desencadearem ações.
- Requisitos de aprovação humana para transações financeiras, alterações de fornecedores e outras decisões sensíveis.
- Monitorização e registo para identificar tentativas de injeção repetidas e padrões de ataque emergentes.
Mais importante ainda, as organizações devem garantir que o conteúdo externo, de qualquer tipo, seja sempre tratado apenas como dados e mantido separado das instruções.
O aspeto mais perigoso desta ameaça emergente é a forma como parece vulgar. Um único e-mail pode agora conter dois ataques distintos: um destinado a convencer o destinatário a abrir um anexo malicioso e outro destinado a manipular os sistemas de AI em quem se confia para processar essa mensagem.
À medida que os assistentes de IA se tornam parte integrante das tarefas do dia a dia, as organizações devem alargar a sua mentalidade de segurança. Proteger a caixa de entrada já não é suficiente. Os sistemas que leem, resumem e atuam com base no conteúdo de Email também precisam de proteção.
Como a Barracuda ajuda a proteger contra estas ameaças
A Barracuda fornece múltiplas camadas de defesa contra ataques por e-mail tradicionais e ameaças emergentes baseadas em IA.
Barracuda Email Gateway Defense ajuda a identificar e bloquear mensagens suspeitas, analisar anexos em ambientes de sandbox e aplicar controlos relativamente a tipos de anexos de alto risco, incluindo ficheiros protegidos por palavra-passe.
Behavioral AI ajuda a identificar tentativas de phishing, comprometimento de email empresarial e outros ataques que podem contornar a deteção tradicional baseada em assinaturas.
Quando uma conta é comprometida, a Automated Threat Response pode conter rapidamente a ameaça, removendo e-mails maliciosos, desativando acessos suspeitos e corrigindo indicadores de comprometimento.
Combinada com funcionalidades de comunicação por parte do utilizador, formação de sensibilização sobre segurança e threat intelligence, estes controlos ajudam a reforçar as defesas tanto humanas como técnicas.
O que os Clientes MSP precisam a seguir, da retaguarda à sala do conselho de administração
A Barracuda Research constatou que a excelência técnica continua a ser essencial, mas o crescimento futuro será impulsionado pela especialização em AI, pela resiliência cibernética e pela capacidade de comunicar o risco em termos empresariais.
Subscreva o Blogue Barracuda.
Inscreva-se para receber destaques sobre ameaças, comentários do setor e muito mais.
Relatório sobre a lacuna de competências em cibersegurança: o risco da IA lidera a lista
O inquérito da Barracuda Research a 2000 responsáveis de segurança conclui que 94% referem lacunas de competências em cibersegurança, ao mesmo tempo que a IA reduz as funções de segurança de nível inicial que ajudam a formar futuros investigadores.