Conselho de Ameaças de Cibersegurança: Vulnerabilidades encontradas no Microsoft Azure AI

Foram descobertas vulnerabilidades significativas nos serviços de Segurança de Conteúdo de IA da Microsoft Azure. Estas vulnerabilidades permitem que os atacantes contornem as salvaguardas e implantem conteúdo prejudicial gerado por IA. Continue a ler este Aviso de Ameaça de Cibersegurança para saber as implicações destas falhas e que medidas de segurança implementar para proteger a sua organização.

Qual é a ameaça?

Os atacantes estão a utilizar técnicas como a injeção de caracteres e a evasão de machine learning adversarial para explorar os serviços de Segurança de Conteúdo do Azure AI.

• Injeção de caracteres: Uma técnica que envolve alterar texto inserindo ou substituindo caracteres por símbolos ou sequências específicas, como diacríticos, homógrafos, substituições numéricas, injeções de espaços ou caracteres de largura zero. Assim, essas modificações subtis podem enganar o modelo a classificar incorretamente o conteúdo, permitindo que atacantes influenciem a interpretação do modelo e interfiram na análise. O objetivo é contornar a barreira de proteção, fazendo com que esta classifique incorretamente o conteúdo.
• Aprendizagem automática adversária (AML): Isto envolve a alteração dos dados de entrada utilizando técnicas específicas para enganar as previsões do modelo. Estas técnicas incluem perturbações, substituições de palavras, erros ortográficos e outras manipulações. Ao escolher e modificar cuidadosamente as palavras, os atacantes podem fazer com que o modelo interprete mal o significado pretendido do input.

Assim que o atacante ultrapassa tanto a moderação de texto por IA como as proteções do Prompt Shield, pode injetar conteúdo prejudicial, manipular as respostas do modelo ou comprometer informações sensíveis. Esta exposição desafia a nossa perceção do que é necessário para criar proteções eficazes em IA.

Por que é isto digno de nota?

O Azure AI Content Safety é um serviço baseado em nuvem concebido para ajudar os desenvolvedores a estabelecer limites de segurança para aplicações de IA, identificando e gerindo conteúdo inadequado. Emprega técnicas avançadas para filtrar material nocivo, incluindo discurso de ódio e conteúdo explícito ou censurável. O Azure OpenAI utiliza um grande modelo de linguagem (LLM) equipado com Prompt Shield e guardrails de Moderação de Texto de IA para validar entradas e conteúdo gerado por IA. Muitas pessoas confiam no serviço Azure AI Content Safety da Microsoft para um comportamento responsável da IA.

No entanto, as duas vulnerabilidades de segurança encontradas nestas barreiras de proteção, que se destinam a proteger modelos de IA de jailbreaks e ataques de injeção de prompts, significam que os atacantes podem contornar tanto as barreiras de proteção de Moderação de Texto de IA como de Proteção de Prompt, permitindo-lhes injetar conteúdo prejudicial, manipular as respostas do modelo ou até comprometer informações sensíveis.

Qual é a exposição ou o risco?

Essas vulnerabilidades significam que os desenvolvedores e utilizadores devem ter mais cuidado com qualquer conteúdo nocivo, inadequado ou manipulado que apareça nos seus outputs gerados por IA.

Quais são as recomendações?

A Barracuda recomenda as seguintes ações para proteger o seu ambiente contra estas vulnerabilidades:

• Inspecione regularmente os dados retornados pelos modelos de IA, para detetar e mitigar riscos associados a solicitações de utilizadores maliciosas ou imprevisíveis.
• Estabelecer mecanismos de verificação em toda a empresa para garantir que todos os modelos de IA utilizados são legítimos e seguros.
• Utilize um Gateway de IA para ajudar a garantir segurança consistente em cargas de trabalho de IA.

Referências

Para obter informações mais detalhadas sobre as recomendações, por favor visite os seguintes links:

• https://hackread.com/azure-ai-vulnerabilities-bypass-moderation-safeguards/
• https://www.secureblink.com/cyber-security-news/azure-ai-vulnerability-exposes-guardrail-flaws-how-safe-are-ai-moderation-tools

Este aviso de ameaça foi originalmente publicado em SmarterMSP.com.