Enfrentar o Lado Negro do GenAI: Recomendações para líderes empresariais, CISOs e equipas de segurança

À medida que o panorama das ameaças evolui com o surgimento de ferramentas de IA generativa maliciosa como Evil-GPT, WolfGPT, DarkBard e PoisonGPT, as organizações devem adotar uma abordagem multifacetada para enfrentar as ameaças habilitadas por IA. Aqui estão recomendações estratégicas para os líderes de segurança considerarem:

1. Inteligência de ameaças e monitorização

Manter-se informado sobre as últimas ferramentas e táticas de IA maliciosas é crucial. Subscreva feeds ou serviços de inteligência sobre ameaças que rastreiam conversas na dark web sobre IA, como os oferecidos pela Kela e Flashpoint. Dado o aumento de 219% nas discussões sobre estas ferramentas em 2024, a visibilidade sobre esta tendência subterrânea é essencial. As equipas de segurança devem monitorizar palavras-chave relacionadas a estas ferramentas (por exemplo, variantes “GPT”, “jailbreak prompts”) em plataformas de inteligência sobre ameaças. Além disso, implemente monitorização da dark web para menções à sua organização — se criminosos estiverem a personalizar IA para atacar a sua empresa ou indústria, quer saber cedo.

2. Melhorar a segurança de e-mail e de conteúdo

Uma vez que o phishing é um caso de uso primário para IA maliciosa, é vital fortalecer a sua pilha de segurança de e-mail. Atualize para filtros avançados que utilizem IA e aprendizagem automática para detetar tentativas de phishing, pois os sistemas legados baseados em regras podem não captar mensagens criadas por IA. Algumas soluções agora afirmam especificamente detetar texto gerado por IA ao analisar padrões linguísticos. Embora não sejam infalíveis, estas medidas adicionam uma camada importante de defesa. Incentive (ou até mesmo programe) os seus gateways de e-mail seguros a sinalizar e-mails com conteúdo ou contexto suspeitosamente bem-elaborados que não correspondam às normas históricas do remetente. Treinar os seus filtros de spam existentes em e-mails de phishing gerados por IA conhecidos também pode melhorar a deteção. Finalmente, considere implantar ferramentas anti-phishing assistidas por IA que possam realizar análises de conteúdo em tempo real e varredura de URL, uma vez que o phishing por IA frequentemente vem com URLs novas ou ligeiras falsificações que as ferramentas automatizadas podem captar mais rapidamente do que funcionários ocupados.

3. Formação robusta para os colaboradores — Enfatizar o conteúdo sobre a forma

Atualize a sua formação de sensibilização sobre segurança para refletir o novo realismo dos esquemas de IA. Os funcionários devem ser mostrados exemplos de e-mails de phishing que são gramaticalmente perfeitos e contextualmente relevantes, para que não dependam de pistas desatualizadas. Enfatize a importância de verificar a legitimidade dos pedidos através de canais secundários. Por exemplo, se um “executivo” enviar um pedido urgente de transferência de fundos por e-mail, verifique por telefone. Ensine a equipa a estar atenta a sinais subtis de automação, como frases incomuns ou inconsistências que possam escapar a uma IA (como um formato de data estranho ou um detalhe irrelevante). Inclua cenários com vozes ou vídeos deepfake na formação de risco executivo para preparar os funcionários para potenciais ameaças. Por exemplo, faça um exercício onde um “CEO” deepfake deixa uma mensagem de voz com instruções, e teste se os procedimentos são seguidos. O objetivo é imunizar a organização contra a confiança em comunicações apenas porque soam profissionais.

4. Segurança de modelos e API

À medida que as organizações integram a IA nas suas operações, é essencial implementar controlos para prevenir o uso indevido e a contaminação dos modelos. Se a sua empresa utiliza modelos de IA (chatbots, assistentes, etc.), estabeleça um controlo de acesso rigoroso e monitorização desses sistemas para detetar abusos, como pedidos com estruturas suspeitas que possam indicar injeção de prompts ou tentativas de exfiltração de dados. Valide a origem e a integridade de quaisquer modelos ou conjuntos de dados de IA de terceiros que utilize. Por exemplo, utilize checksums ou assinaturas para modelos e prefira modelos de repositórios oficiais. Considere adotar ferramentas emergentes para a proveniência de modelos (como a iniciativa AICert ou outras frameworks de segurança da cadeia de fornecimento de IA) para verificar que um modelo não foi adulterado. Internamente, implemente limitação de taxa e deteção de anomalias para as suas APIs de IA para identificar atividades invulgares. Se uma conta de repente começar a fazer milhares de consultas que produzem dados (o que pode indicar que um atacante está a reutilizar a sua IA), você quer detetar isso. Essencialmente, trate os seus serviços de IA com a mesma mentalidade de segurança que teria para uma base de dados ou servidor crítico, porque os atacantes podem alvo-los, seja para os abusar ou envenenar.

5. Controles técnicos para malware e bots

Reforce as suas defesas de endpoint e de rede para lidar com malware gerado por IA. Utilize soluções de deteção e resposta de endpoint (EDR) que se concentrem no comportamento, permitindo a deteção de processos que tentam aceder aos dados do utilizador de formas suspeitas, como detetar se um processo tenta aceder aos dados do utilizador e compactá-los. O EDR pode capturar o comportamento mesmo que a assinatura de código seja nova. Utilize a inteligência de ameaças para atualizar rapidamente os indicadores de compromisso (IoCs) quando novas variantes de malware geradas por IA forem descobertas. Do lado da rede, empregue a deteção de anomalias para identificar padrões indicativos de ataques gerados por IA. Muitos ataques gerados por IA podem ainda exibir padrões semelhantes a máquinas em grande escala, como um súbito aumento de e-mails de phishing que são ligeiramente diferentes entre si ou um padrão incomum de conexões de saída se o malware estiver a exfiltrar dados. Considere também ferramentas de segurança potenciadas por IA que aprendem o comportamento de rede base e alertam sobre desvios. E, claro, mantenha-se atualizado com a aplicação de patches e a higiene cibernética básica. Atacantes assistidos por IA continuarão a explorar sistemas não corrigidos e credenciais fracas como alvos fáceis.

6. Prontidão para resposta a incidentes

Atualize os seus planos de resposta a incidentes para incluir elementos de IA. Desenvolva guias de ação para responder a incidentes de deepfake ou desinformação, garantindo que a sua equipa sabe quem avalia a veracidade de conteúdo falso, como um vídeo falso do seu CEO, e como informar rapidamente os stakeholders. Para incidentes de phishing, esteja preparado para que, se um funcionário for comprometido por um e-mail de phishing com IA, a próxima onda de phishing possa ser diferente, pois a IA pode alterar o conteúdo. Garanta que a sua equipa de resposta a incidentes tem acesso a recursos para analisar conteúdo suspeito, como uma ferramenta de deteção de texto por IA ou relações com especialistas em IA. Partilhar informações é fundamental. Se sofrer um ataque envolvendo uma ferramenta maliciosa de IA, considere partilhar inteligência anonimizada com ISACs ou certs da indústria para reforçar as defesas coletivas. Quanto mais rápido a comunidade aprender sobre uma nova tática (por exemplo, “Esta campanha de phishing parece ter sido escrita pelo WormGPT com certos marcadores estilísticos”), mais rápido as defesas coletivas podem ajustar-se.

7. Gestão de políticas e fornecedores

Do ponto de vista da governação, implemente políticas claras sobre o uso de IA na sua organização. Aborde os riscos associados à "IA sombra", onde os funcionários utilizam ferramentas de IA não aprovadas. A IA sombra pode introduzir riscos, conforme destacado por casos recentes de fuga de dados e até mesmo ferramentas maliciosas que se fazem passar por aplicações de IA legítimas. Comunique claramente quais ferramentas de IA são aprovadas e proíba o uso de IA não autorizada, especialmente com dados sensíveis. Exija que fornecedores e terceiros sigam práticas de segurança de IA, garantindo que protejam as suas ferramentas de IA contra usos indevidos. Por exemplo, se utilizar um chatbot de IA de um fornecedor no seu suporte ao cliente, pergunte como o protegem contra uso indevido e se avaliam os seus modelos para detecção de manipulações. As ameaças de desinformação também devem ser integradas no planeamento de continuidade de negócios ou gestão de crises. Isto pode envolver equipas de relações públicas, mas a contribuição da equipa de segurança é vital nos aspetos técnicos de atribuição e remoção (como coordenar com plataformas para remover conteúdo deepfake, etc.).

8. Adotar IA defensiva

Finalmente, considere aproveitar a IA para defesa. Assim como os atacantes usam a IA, os defensores podem empregar IA e aprendizagem automática para melhorar a caça de ameaças, a análise do comportamento do utilizador e a resposta automática. Muitos centros de operações de segurança estão sobrecarregados por alertas — a IA pode ajudar a correlacionar sinais que indicam que um ataque gerado por IA está em andamento, permitindo uma identificação e resposta mais rápidas. Por exemplo, múltiplos alertas de phishing de baixa confiança que partilham semelhanças subtis podem ser reunidos por uma IA para revelar uma campanha generalizada. A IA também pode ajudar na proteção contra riscos digitais — examinando a web em busca de conteúdos fraudulentos, como websites falsificados ou notícias falsas sobre a sua empresa. Alguns sistemas avançados usam processamento de linguagem natural (NLP) para monitorizar redes sociais ou a dark web em busca de sinais precoces de desinformação direcionada ou temas de phishing. Ao aproveitar essas ferramentas, as organizações podem inverter a situação e fazer da IA uma força na sua postura de segurança, em vez de apenas uma ameaça.

Conclusão

A ascensão de ferramentas de IA generativa maliciosas marca um novo capítulo na cibersegurança, capacitando os atores de ameaças a lançar ataques mais frequentes, sofisticados e enganosos do que nunca. Para os CISOs e equipas de segurança, o imperativo é claro: adaptar-se rapidamente. Ao compreender estas ferramentas, fortalecer as defesas e fomentar uma cultura de vigilância — aumentada por IA defensiva — as organizações podem mitigar riscos. O panorama das ameaças está a evoluir, mas com estratégias informadas e preparação, as defesas podem evoluir também. Nesta corrida armamentista alimentada por IA, o conhecimento e a agilidade serão os seus maiores trunfos. Mantenha-se informado, esteja preparado e aborde cada e-mail suspeito ou saída de modelo estranha com o ceticismo saudável que esta nova era exige.