As preocupações com a segurança e a proteção da IA estão a vir à tona

Normalmente, sempre que há um grande avanço tecnológico, demora algum tempo até que todas as implicações de cibersegurança sejam plenamente compreendidas, mas com o surgimento de grandes modelos de linguagem (LLMs), a segurança de uma inteligência artificial (IA) que pode ser alcançada e mantida está rapidamente a tornar-se um diferenciador importante entre um serviço e outro.

Por exemplo, a Anthropic está agora a convidar investigadores para quebrar um Sistema de Segurança de IA, denominado Constitutional Classifiers, que fornece um conjunto de princípios que cada instância do seu modelo de IA deve seguir. A empresa está a oferecer $20,000 a qualquer investigador que consiga contornar estas salvaguardas.

Essa oferta surge na sequência da polémica em torno do lançamento de DeepSeek, um modelo de IA de código aberto criado na China por alegadamente uma fração do custo de outros modelos de IA similares. O único problema é que o modelo de IA DeepSeek está repleto de falhas de segurança, o que torna a sua aplicabilidade num ambiente de TI empresarial duvidosa.

Pode-se argumentar que o intenso debate em torno do DeepSeek é uma dádiva para as equipas de cibersegurança. A verdade é que os protocolos de segurança de IA e cibersegurança que as organizações adotaram variam de inexistentes a negligentes. Na ausência de qualquer política formal, muitos utilizadores finais estão a partilhar dados sensíveis com fornecedores de modelos de IA sem qualquer apreciação de como esses dados podem um dia ser utilizados para treinar a próxima geração de um modelo que provavelmente será capaz de regurgitar esses dados para qualquer pessoa que saiba criar o pedido certo. No outro extremo, algumas organizações estão a proibir a utilização de modelos de IA sem capacidade para aplicar essas políticas. Para muitos utilizadores finais, os modelos de IA são apenas mais um serviço de TI sombra a ser utilizado furtivamente conforme considerarem adequado.

Com sorte, mais organizações em consulta com as suas equipas de cibersegurança em breve estarão a implementar os controlos necessários para dar substância às políticas que definem. Entretanto, as equipas de cibersegurança precisam de dedicar o tempo necessário para compreender exatamente como cada serviço de IA está a utilizar os dados a que tem acesso, começando por qualquer compromisso feito para garantir que os dados dos clientes não serão usados para treinar um modelo de IA. A questão é que esse compromisso pode apenas aplicar-se aos dados que o utilizador final selecionou especificamente para isenção de qualquer definição padrão que nenhum utilizador final provavelmente encontrará enterrada nas centenas de páginas de qualquer acordo de licenciamento de software.

Já é necessário um advogado bastante experiente para navegar pelos termos e condições da maioria dos contratos de licenciamento de software existentes e, à medida que mais advertências são adicionadas na era da IA, as hipóteses de os utilizadores finais não compreenderem as implicações de partilhar dados com um serviço de IA externo só aumentam.

Entretanto, os cibercriminosos estão claramente a aperfeiçoar as suas habilidades de fuga de IA, também conhecidas por aproveitar competências de engenharia de prompts para gerar resultados que contornam as barreiras de segurança da IA, que supostamente deveriam impedir a criação de resultados que contêm dados sensíveis.

Em última análise, não se trata de saber se haverá grandes incidentes de cibersegurança envolvendo IA, mas sim quando e em que medida. A única coisa que não é tão certa, no entanto, é como as organizações responderão quando essas falhas, se ainda não tiverem ocorrido, inevitavelmente acontecerem em breve.