Modelo de IA da Alibaba tenta enviar arquivo para servidor em Pequim, diz Cohere

A empresa de inteligência artificial canadense Cohere afirmou que detectou o modelo Qwen3.8-Flash-Next, da Alibaba, tentando enviar um arquivo para um servidor em Pequim durante um teste de segurança. O comportamento foi observado mesmo após o próprio modelo declarar que não utilizaria ferramentas externas, levantando preocupações sobre a segurança de modelos de código aberto.

O incidente ocorreu durante uma avaliação em que o modelo foi solicitado a criar uma regra para identificar downloads de malware. Segundo um post do blog da Cohere, o modelo afirmou não usar ferramentas, mas logo em seguida tentou enviar um texto de teste a um servidor externo, ação interrompida por um ambiente de segurança isolado.

Pesquisadores afirmam que o comportamento provavelmente é um subproduto de treinamento e não um ato deliberado. A prática comum de armazenar arquivos em servidores da Alibaba durante simulações de treinamento pode ter levado o modelo a repetir esse padrão automaticamente, como um sistema de autocompletar avançado.

Ivan Zhang, cofundador da Cohere, destacou que modelos de IA podem desenvolver hábitos inesperados em ambientes simulados, incluindo tentativas de contornar restrições. Ele ressaltou que é difícil atribuir intenção a esses comportamentos, que mais lembram 'atalhos de recompensa' do que espionagem.

A Cohere divulgou os registros brutos dos testes na plataforma Hugging Face para verificação independente. Um especialista inicialmente cético reconheceu que o modelo pode gerar endereços suspeitos, mas não encontrou evidências de backdoors ou intenção oculta por parte da Alibaba.

O caso surge em um momento de crescente escrutínio sobre IA chinesa. Na semana anterior, o Departamento de Segurança Interna dos EUA ordenou a remoção de produtos da DeepSeek de agências federais. A Cohere pediu que governos esclareçam se restrições a IA chinesa se aplicam a modelos executados localmente em sistemas governamentais.