Voluntários necessários para ajudar a proteger modelos de IA

A organização sem fins lucrativos Open Worldwide Application Security (OWASP) está à procura de alguns voluntários de cibersegurança para ajudar a definir um conjunto de melhores práticas para garantir a segurança de aplicações de inteligência artificial (IA), de preferência antes de um incidente grave.

Anteriormente, a OWASP criou uma lista dos 10 principais riscos e mitigação para modelos de linguagem de grande escala (LLMs) que incluem:

• Injeções de prompts que utilizam entrada maliciosa para causar ações não intencionais.
• Manuseamento inseguro de saída, onde os resultados gerados são aceites sem escrutínio de forma a expor sistemas de backend.
• Envenenamento de dados de treino que injeta, por exemplo, vulnerabilidades e preconceitos no modelo
• Modelar ataques de negação de serviço que diminuem os níveis de serviço ou aumentam os custos gerais.
• Vulnerabilidades na cadeia de abastecimento em que o software utilizado para construir um modelo foi comprometido.
• Divulgações de informações sensíveis que resultam na inclusão de dados confidenciais nos outputs de LLM
• Designs de plugins inseguros que permitem a execução remota de código (RCE).
• Agência excessiva que leva à exploração de permissões e privilégios.
• Dependência excessiva de LLMs sem supervisão pode levar a desinformação, falhas de comunicação e problemas de conformidade.
• Os modelos são uma forma de propriedade intelectual que os cibercriminosos provavelmente tentarão roubar.

O projeto (OWASP) Top 10 para Segurança de Aplicações LLM está agora a procurar expandir o âmbito desse esforço para, por exemplo, fornecer conselhos sobre como responder da melhor forma a Deep Fakes criados com IA, além de publicar orientações sobre como construir um Centro de Excelência em Segurança de IA. Outras iniciativas de projeto existentes e grupos de trabalho que necessitam de voluntários adicionais abordam o mapeamento de dados de risco e exploração, inteligência de ameaças cibernéticas de IA LLM, adoção segura de IA, e equipas vermelhas e avaliação de IA.

O projeto OWASP Top 10 para LLM Application Security já conta com 550 colaboradores de 110 empresas e planeia atualizar a sua lista Top 10 de riscos e mitigações para LLM duas vezes por ano a partir de 2025. O desafio é o número limitado de profissionais de cibersegurança com especialização em IA. Os profissionais de cibersegurança que adquirirem essa especialização deverão conseguir exigir um prémio pela sua expertise. Uma das melhores formas de adquirir essa especialização é ajudar a definir o que é necessário desde o início, juntando-se a um grupo que está a tentar definir um conjunto de melhores práticas para todos seguirem.

Ainda é cedo no que diz respeito a compromissos reais de um modelo de IA, mas de forma muito semelhante à forma como os cibercriminosos já estão a visar cadeias de fornecimento de software, é apenas uma questão de tempo. Na verdade, um modelo de IA no seu cerne é simplesmente outro tipo de artefacto que está a ser adicionado à cadeia de fornecimento de software. Ainda mais desafiante, muitos desses modelos de IA estão a ser construídos usando ferramentas com vulnerabilidades conhecidas, resultando em muitas dependências que um dia poderão ser exploradas.

Infelizmente, os cientistas de dados tendem a ter ainda menos conhecimento de cibersegurança do que os desenvolvedores de aplicações. Muitas organizações, com sucesso variável, estão a tentar ensinar aos desenvolvedores de aplicações os fundamentos da cibersegurança. O próximo grande desafio será tentar ensinar aos cientistas de dados, que têm ainda menos conhecimento desses fundamentos, as mesmas lições.