Pesquisadores da Microsoft descreveram uma técnica de backdoor chamada Lazarus, que modifica neurônios dormentes dentro de um modelo para que um agente de IA construído sobre ele se comporte normalmente até surgir um gatilho oculto, momento em que passa a executar comandos maliciosos.
O risco é maior em agentes com acesso a ferramentas ou a um terminal. Uma vez ativado, o modelo poderia baixar e executar silenciosamente código do invasor, roubar segredos ou disparar comandos destrutivos, tudo isso enquanto continua passando nas avaliações de segurança padrão. Segundo os pesquisadores, essas alterações podem ser inseridas sem retreinamento e dificilmente aparecem em testes comuns, o que torna a procedência do modelo e a integridade dos pesos questões de segurança críticas.
Em um resumo escrito pelo pesquisador que descobriu a técnica, reprogramar menos de 10 neurônios dormentes no espaço de pesos é suficiente para inserir um backdoor em um agente construído sobre um LLM, sem necessidade de treinamento. O modelo continua passando nas avaliações padrão e agindo normalmente até ser ativado, e o próprio gatilho pode ser algo tão banal quanto uma mudança de data: quando o relógio passa da meia-noite e entra 2027, um agente no meio de uma tarefa rotineira emite um comando que baixa e executa o código do invasor, rodando-o com o acesso que lhe foi concedido.
Alterações desse tipo podem ser detectadas, observa o pesquisador: agentes de fronteira conseguem apontar modificações anômalas nos pesos quando instruídos a procurá-las. Mas nenhuma varredura pode provar sem qualquer dúvida que um modelo é seguro, pois a detecção confiável exige comparar os pesos com os originais não modificados. É por isso que a procedência importa tanto: saber de onde veio um modelo e confirmar que ele não foi alterado entre o desenvolvedor e a implantação.
De acordo com a publicação, modelos com backdoor não são um tipo novo de ameaça e podem ser tratados como software comprometido. As defesas são as que os profissionais de segurança já conhecem, e sobre as quais Satya escreveu recentemente: tratar os modelos como riscos internos em potencial, não confiar neles implicitamente, limitar o que podem fazer e monitorar o que fazem.
Do seu lado, a Microsoft afirma que o Foundry fornece sistemas de segurança críticos para o Azure Direct Models e os modelos da Hugging Face que mantêm a procedência do modelo segura, de modo que os clientes do Foundry estão protegidos contra os ataques descritos no estudo para modelos de laboratórios confiáveis. Como o ataque exige alterar os pesos do modelo, o Foundry incorpora modelos de pesos abertos por meio de controles de origem que vinculam cada modelo ao seu publicador original, identificado em cada cartão de modelo. Os modelos são então executados dentro dos próprios contêineres da Microsoft, que passam por varreduras separadas em busca de vulnerabilidades críticas; juntos, esses controles cobrem tanto a origem do modelo quanto o software ao seu redor.
A exposição restante é a de o próprio provedor confiável estar comprometido, por exemplo por meio de sua infraestrutura de treinamento ou de uma pessoa interna. A Microsoft afirma que já começou a trabalhar nas recomendações do estudo: equipes internas de segurança de IA estão transformando as técnicas de detecção em um arcabouço de red teaming, a empresa avalia se a varredura de pesos com agentes de fronteira pode se tornar um sinal de segurança adicional na incorporação de modelos de pesos abertos, e está sendo planejada a assinatura de modelos com procedência verificável e auditorias à prova de adulterações. A publicação também encaminha os leitores às orientações de proteção e mitigação do Microsoft Threat Intelligence, apresentadas como ponto de partida e não como uma lista exaustiva, com a ressalva de que nenhuma auditoria pode garantir comportamento seguro e de que essas medidas devem ser uma camada de uma abordagem de defesa em profundidade.
O trabalho começou em março como um experimento rápido: o pesquisador pediu ao Claude Code com Opus 4.5 que inserisse um backdoor em um modelo fixando algumas ativações sem treinamento, e ele conseguiu. Esse experimento se transformou em um estudo de meses chamado Lazarus, cujas conclusões incluem:
- Os agentes oferecem uma grande superfície de ataque. Um modelo com backdoor pode passar em todas as avaliações e depois emitir um comando do invasor no momento previsto, que o agente executa com o acesso que possui.
- Neurônios dormentes podem virar detectores de gatilhos. Todo LLM tem muitos neurônios que raramente disparam, e eles podem ser reprogramados para disparar apenas quando o gatilho aparece. Isso funciona porque o pré-treinamento organiza tão bem as representações internas que um classificador linear ajustado com cerca de 50 exemplos consegue distinguir as entradas que carregam o gatilho das que não carregam.
- Um neurônio reprogramado pode injetar um token. Quando dispara, pode impor qualquer token empurrando-o para o fluxo residual, e encadear vários neurônios produz cargas arbitrárias que rodam no terminal.
- Requer apenas computação de inferência. Uma máquina com RAM suficiente para executar o modelo também tem o suficiente para inserir nele um backdoor no espaço de pesos.
- Não é um argumento contra pesos abertos. O ataque exige apenas acesso de escrita a um checkpoint, portanto modelos desenvolvidos internamente estão igualmente expostos; uma conta, um pipeline ou um armazenamento comprometidos podem ser suficientes. O que importa é a integridade dos pesos e a procedência.
- Os pesos deveriam ser auditados como código. Agentes de fronteira conseguem detectar edições anômalas nos pesos, mas essa varredura ainda não é prática comum, o que segundo o pesquisador deveria mudar.
A publicação acrescenta que o Claude Code com Opus 4.5 descobriu a maior parte disso de forma autônoma, e encerra apresentando o Lazarus como exemplo de uma prática que deveria se tornar rotina: os agentes de IA trazem à tona novos problemas de segurança, e os pesquisadores humanos então os sistematizam, estudam e mitigam. A Microsoft descreve seus pesquisadores e equipes de segurança trabalhando lado a lado diante das ameaças emergentes a modelos e agentes, transformando o que aprendem em defesas de produto e orientação para os clientes.