OpenAI partilha aviso de cibersegurança sobre modelo de IA

Navegar na espada de dois gumes da inovação em IA e das ciberameaças

Principais conclusões

• A OpenAI avisa que futuros modelos de IA, especialmente aqueles baseados em grandes modelos de linguagem (LLMs), terão capacidades avançadas de cibersegurança que poderão ser exploradas por criminosos.
• A empresa está a monitorizar o uso do modelo para atividades inseguras e a colaborar com organizações de red-teaming para reforçar as medidas de segurança.
• Aardvark, um agente de IA treinado para pesquisa de segurança, está em beta privado para ajudar desenvolvedores e equipas de segurança a identificar vulnerabilidades, com cobertura gratuita para certos projetos de código aberto.
• Iniciativas como o Projeto de Segurança GenAI da OWASP e a taxonomia de segurança de IA da NIST estão a ajudar as organizações a compreender e mitigar ameaças emergentes à medida que a tecnologia de IA evolui.

A OpenAI está a alertar que a próxima geração de modelos de inteligência artificial (IA) baseados nos seus grandes modelos de linguagem (LLMs) terá elevados níveis de capacidades de cibersegurança que poderão ser potencialmente abusadas por criminosos.

Especificamente, as equipas de cibersegurança devem esperar que os criminosos cibernéticos utilizem LLMs para desenvolver zero-day exploits remotos contra sistemas bem defendidos ou para ajudar em intrusões complexas e furtivas, de acordo com uma publicação de blog partilhada pela OpenAI.

A OpenAI está a trabalhar para minimizar qualquer potencial uso indevido dos seus modelos, entre outras coisas, treinando o modelo para responder de forma segura a pedidos que poderiam possibilitar abuso cibernético claro, enquanto continua a ser útil para casos de uso educativo e defensivo.

Além disso, a OpenAI está a comprometer-se a continuar a monitorizar o uso dos seus LLMs para atividades inseguras, que serão então bloqueadas ou encaminhadas para modelos menos capazes. Ao mesmo tempo, a empresa está a trabalhar com organizações de red-teaming para avaliar e melhorar as suas medidas de segurança.

A OpenAI também planeia adicionar um programa de acesso confiável através do qual explorará fornecer a utilizadores e clientes qualificados que trabalham em ciberdefesa acesso escalonado a capacidades de modelos de IA aprimorados para casos de uso defensivos, além de estabelecer o Conselho de Risco Frontier, um grupo consultivo através do qual profissionais de segurança experientes irão trabalhar em estreita colaboração com as suas equipas. A OpenAI também está a trabalhar com o Frontier Model Forum, um consórcio sem fins lucrativos dedicado a uma compreensão compartilhada de modelos de ameaça e melhores práticas.

Por fim, a OpenAI observou que também está a disponibilizar o Aardvark numa versão beta privada. O Aardvark é um agente de IA que foi treinado para ser um investigador de segurança, ajudando os programadores e as equipas de segurança a encontrar e corrigir vulnerabilidades. A organização também planeia oferecer cobertura gratuita a repositórios open-source não comerciais selecionados para melhorar as cadeias de fornecimento de software.

Equilibrar a inovação em IA com os riscos emergentes de cibersegurança

Claro, os modelos de IA desenvolvidos pela OpenAI são agora apenas uma das muitas opções, muitas das quais continuarão a tornar-se mais avançadas em termos de como podem ser mal utilizadas por atores nefastos. De facto, a Anthropic revelou no mês passado que um grupo de ameaças de um estado-nação baseado na China abusou do seu modelo Claude AI para ajudar a lançar uma série de ataques de ciberespionagem que poderiam servir como um modelo de como a IA e os agentes associados podem ser usados por maus atores no futuro.

O grupo sem nome usou Claude Code para atacar mais de duas dúzias de organizações numa campanha que automatizou 80% a 90% do trabalho, com intervenção humana necessária em apenas quatro a seis pontos críticos de decisão para cada ataque.

Felizmente, outras organizações estão a trabalhar para ajudar a melhorar a segurança de IA. Mais recentemente, o Projeto de Segurança OWASP GenAI publicou uma lista das 10 principais ameaças de segurança potenciais que as organizações provavelmente enfrentarão à medida que constroem e implementam agentes de IA, e o Instituto Nacional de Padrões e Tecnologia dos EUA (NIST) está a construir uma taxonomia de ataques e mitigações para garantir a segurança dos agentes de IA.

Neste momento, há poucas dúvidas de que, de uma perspetiva de cibersegurança, a IA é uma espada de dois gumes. A esperança é que as equipas de cibersegurança beneficiem mais da IA do que os adversários. No entanto, dadas as evidências iniciais, pode ser prudente que as equipas de cibersegurança comecem a preparar-se agora para o que pode vir a ser o pior de todos os cenários possíveis.