Rastreando o Futuro: Como Aproveitamos a GenAI para Soluções de Segurança Aprimoradas na Barracuda Networks

Resumo

• A Barracuda AI capacita as equipas de produto com uma plataforma GenAI escalável, em conformidade e fácil de usar. Oferece acesso contínuo a mais de 20 modelos de IA e integração rápida de novas tecnologias.
• O rastreamento abrangente e a monitorização avançada—alimentados por Databricks—proporcionam uma visibilidade profunda na tomada de decisões de IA, permitindo a resolução de problemas em tempo real, otimização de desempenho e conformidade robusta com a segurança.
• A inovação contínua inclui APIs de avaliação melhoradas, acesso democratizado a dados e monitorização expandida, garantindo que a Barracuda permaneça na vanguarda da cibersegurança impulsionada por IA e proteção ao cliente.

Na Barracuda, estamos constantemente a inovar para nos mantermos à frente das ameaças de segurança emergentes num cenário digital cada vez mais complexo. Como uma empresa em que centenas de milhares de empresas em todo o mundo confiam para proteger o seu email, redes, aplicações e dados, compreendemos a importância crítica das soluções de segurança abrangentes. A Barracuda existe para proteger e apoiar os clientes para a vida – como podemos aproveitar a tecnologia de IA de ponta para avançar na nossa missão?

Como Principal Engineer liderando a iniciativa da plataforma Barracuda GenAI, sei o quão importante é fornecer às equipas de produto uma plataforma regional consolidada, escalável e em conformidade, com o mínimo de sobrecarga, enquanto lhes permite criar, iterar e implementar soluções de IA com confiança. A Barracuda AI oferece acesso fácil a mais de 20 modelos de IA, com suporte para os modelos mais recentes adicionados em poucos dias através de stable APIs. Confiamos nas capacidades avançadas de rastreamento da Databricks para monitorizar, solucionar problemas e melhorar a nossa plataforma de IA e estamos a trabalhar ativamente na integração das soluções LLMOps da Databricks, como Judge Metrics e Monitorização, para simplificar o LLMOps para equipas de produto que utilizam a Barracuda AI.

Poder de Rastreio para Barracuda AI

Na cibersegurança, compreender exatamente como os modelos de IA tomam decisões é crucial tanto para a eficácia como para a confiança. A rastreabilidade proporciona uma visibilidade sem precedentes nas nossas aplicações de IA, permitindo-nos acompanhar cada etapa do processo de tomada de decisão, desde o pedido inicial até à resposta final.

Quando vimos MLflow LangChain autologging no Databricks Data + AI Summit, integrámo-nos facilmente e temos colhido benefícios desde então.

A rastreabilidade permite-nos:

• Siga o percurso completo de um pedido através do nosso sistema
• Identificar gargalos e problemas de desempenho em tempo real
• Depurar interações complexas entre múltiplos componentes de IA
• Garantir comportamento consistente em diferentes ambientes
• Fornecer trilhas de auditoria para fins de segurança e conformidade

Ao implementar uma rastreabilidade abrangente na nossa plataforma, podemos identificar e resolver rapidamente problemas, otimizar o desempenho e garantir que as nossas soluções de segurança estão a funcionar da melhor forma, mesmo à medida que os padrões de ataque evoluem.

A Nossa Implementação Técnica

Barracuda AI é construído sobre uma base de tecnologias flexíveis e interoperáveis, concebidas para maximizar o desempenho, enquanto minimizam a sobrecarga.

Infraestrutura da API Barracuda AI

A nossa API oferece endpoints compatíveis com OpenAI e LangChain AIMessage/AIMessageChunk (com mais a caminho) que permitem uma integração perfeita com ferramentas e fluxos de trabalho existentes. Esta camada de compatibilidade permite que as equipas de produto iterem e experimentem sem se preocuparem com implementações ou alterações de código em frameworks de modelo ou agentes. Nos bastidores, envolvemos cuidadosamente as interfaces e gerimos traduções através de um gateway API regional e escalável, implementado através de clusters Kubernetes e construído utilizando FastAPI servido por Uvicorn, garantindo um comportamento e desempenho consistentes enquanto mantemos um rastreamento detalhado.

Barracuda AI Frontend

A Barracuda AI também possui uma aplicação front-end Next.js segura e autenticada por SSO para uma utilização mais ampla de IA na empresa.

Monitorização e Registo

As capacidades de autologging do MLflow rastreiam automaticamente todas as interações com o modelo sem exigir alterações extensas no código. Esta abordagem de "configurar e esquecer" para o rastreamento garante que capturamos dados abrangentes, mesmo enquanto a nossa plataforma evolui.

Processamento e Análise de Dados

A integração do Databricks oferece capacidades poderosas de análise e monitorização que nos permitem processar grandes quantidades de dados de rastreio de forma eficiente. Para rastreios recentes (dentro da última hora), usamos a interface do MLflow para análise imediata. Para rastreios exportados mais antigos, construímos vistas com o DBT para o nosso espaço Databricks Genie, permitindo-nos extrair insights e análises significativas usando linguagem natural.

Cenários de Utilização Diária

A nossa infraestrutura de rastreamento suporta uma variedade de casos de uso críticos que nos ajudam a manter a excelência em segurança:

Resolução de Problemas Complexos

Quando os utilizadores relatam comportamentos invulgares, os nossos programadores podem imediatamente procurar o request_id associado e recuperar a respetiva rastreabilidade. Isto permite-lhes rastrear toda a jornada desse pedido através do nosso sistema, identificando exatamente onde as coisas correram mal.

Monitorização de Desempenho Abrangente

Construímos dashboards sofisticados e relatórios diários que nos dão visibilidade sobre:

• Padrões de utilização por equipa e modelo
• Análise de custos e oportunidades de otimização
• Acompanhamento do uso de tokens para eficiência
• Métricas de desempenho do modelo e estatísticas de latência

Estes dashboards permitem-nos tomar decisões baseadas em dados sobre a alocação de recursos e identificar oportunidades de otimização.

Deteção e Prevenção de Abusos

A segurança consiste em proteger contra ameaças externas e potenciais vulnerabilidades internas. O nosso sistema de rastreamento ajuda a identificar cenários de uso indevido, como quando as chaves de desenvolvimento são acidentalmente implementadas em ambientes de produção.

Gestão de Dados em Grande Escala

Gerir dados de rastreamento em escala apresenta desafios únicos. Para rastreamentos muito grandes que contêm cargas de contexto massivas (como bases de código extensas ou grandes cópias de registos), implementámos estratégias de truncamento inteligentes para nos manter dentro do limite de 16MB do tipo VARIANT do Databricks, preservando as informações mais críticas.

Também damos prioridade à privacidade dos dados. Para rastros em repouso nas Tabelas Delta Lake, removemos informações de identificação pessoal (PII) para fins de proteção de dados, enquanto preservamos o valor analítico dos nossos dados de rastreamento.

Futuras Direções

Estamos a explorar ativamente várias melhorias entusiasmantes para a nossa plataforma Barracuda AI:

Capacidades de Avaliação Avançadas

A utilização de APIs de avaliação e monitorização é uma prioridade na nossa lista e no nosso roteiro de hackathon. Planeamos expor estas capacidades de avaliação através das APIs da nossa plataforma, permitindo que as equipas meçam e melhorem a qualidade das suas soluções de segurança potenciadas por IA.

Acesso Democratizado aos Dados

Use Databricks Delta Sharing para permitir que as equipas realizem as suas próprias análises sobre dados de rastreamento. Esta capacidade irá capacitá-los a obter insights e impulsionar mudanças específicas para as suas aplicações.

Avaliação Offline Melhorada

Estamos a desenvolver capacidades para avaliação offline de dados de rastreio, permitindo que as equipas testem hipóteses e melhorias sem impactar os sistemas de produção. Esta abordagem acelera a inovação enquanto mantém a estabilidade da nossa infraestrutura de segurança.

Monitorização Expandida

À medida que incorporamos novas funcionalidades e melhorias na nossa plataforma GenAI, estamos a explorar formas de melhorar as nossas capacidades de monitorização. Queremos acelerar a inovação de produtos, como a implementação de agentes de IA no Databricks que se integrem com a nossa plataforma GenAI, e expandir a visibilidade da nossa infraestrutura de rastreio.

Conclusão

A Barracuda AI é uma base para a inovação futura na Barracuda, proporcionando às equipas de produto a flexibilidade, potência e visibilidade de que necessitam para construir a próxima geração de soluções de segurança. Ao centralizar as capacidades de IA, simplificar a observabilidade através de rastreamento e aproveitar a infraestrutura escalável fornecida pela Databricks, a Barracuda AI tornou-se uma pedra angular que capacita muitas das nossas iniciativas de produto. À medida que o panorama de ameaças evolui, mantemos o compromisso de proteger os clientes para a vida, refinando e expandindo continuamente esta base de IA, garantindo que todas as soluções Barracuda beneficiem de inovação robusta, ágil e preparada para o futuro.